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内 容 简介 : 

本 书 基于 MATLAB 6.5/7 提供 的 神经 网 络 工 具 箱 ， 介 绍 了 神经 网 络 常用 算法 、 优 化 算法 及 其 混 
合 编程 实现 。 全 书 共 分 为 6 章 ， 分 别 结合 实例 介绍 了 人 工 神经 网 络 概述 ， 实 用 神经 网 络 模型 与 学 习 
算法 ， 神 经 网 络 算法 优化 ，nnToolKit 神经 网 络 工具 包 ，MATLAB 混合 编程 技术 ， 混 合 编程 案例 。 
附录 中 介绍 了 2NDN 神经 网 络 建 模仿 真 平台 。 全 书 图 文 并 茂 ， 由 浅 入 深 ， 脉 络 清晰 ， 融 教学 与 实例 
于 一 体 ， 通 过 大 量 的 神经 网 络 应 用 实例 介绍 了 神经 网 络 的 常用 算法 及 混合 编程 实现 方法 ， 并 配 有 习 
题 。 全 书 可 读 性 和 操作 性 较 强 。 

本 书 可 作为 高 校 自 动 化、 计算 机 、 材 料 化 工 、 机 械 工程 、 数 学 、 电 子 工程 、 信 息 与 信息 处 理 等 
专业 的 教材 和 相关 专业 工程 技术 人 员 的 参考 书 ， 读 者 可 到 中 国 AI 创业 研发 俱乐部 
Chttp:/www.2nsoften) 网 站 上 下 载 本 书 配 套 源 程序 和 电子 课件 ， 同 时 本 网 站 的 “源码 中 心 ” 提供 了 
大 量 的 神经 网 络 源 代码 ， 欢 迎 大 家 下 载 交流 学 习 。 
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出 


了 中 


自 20 世纪 80 年 代 末 以 来 ， 神 经 网 络 这 个 涉及 多 种 学 科 的 新 的 高 科技 领域 ， 吸 引 了 众多 的 神经 
生理 学 家 、 心 理学 家 、 数 理学 家 、 计 算 机 与 信息 科学 家 及 工程 师 和 企业 家 等 进行 研究 和 应 用 。 大 量 
的 有 关 神 经 网 络 机理 、 模 型 、 算 法 特性 分 析 ， 以 及 在 各 领域 应 用 的 学 术 论文 像 雨 后 春笋 般 在 报刊 杂 
志 上 和 许多 国际 学 术 会 议 中 涌现 。 神 经 网 络 日 益 成 为 当代 高 科技 领域 中 方兴未艾 的 竞争 热点 。 

MATLAB 是 一 款 强 大 的 工程 计算 和 仿真 软件 , 其 中 的 神经 网 络 工具 箱 提供 了 大 量 可 直接 调用 的 
函数 和 命令 ， 基 本 上 衷 括 了 目前 应 用 比较 成 熟 的 神经 网 络 设计 方法 。 用 MATLAB 来 编写 各 种 网 络 
仿真 和 训练 程序 ， 可 以 使 用 户 从 繁琐 的 编程 中 解脱 出 来 ， 大 大 提高 工作 效率 和 解 题 质量 。 因 此 ， 如 
何 应 用 神经 网 络 工具 箱 函 数 来 解决 工程 实践 中 的 问题 已 成 为 燃 由 之 急 。 作 者 根据 多 年 来 从 事 神经 网 
络 应 用 开发 以 及 使 用 MATLAB 的 经 验 编写 了 这 本 书 ， 书 中 除了 介绍 神经 网 络 的 实用 算法 外 ， 还 详 
细 介 绍 了 在 高 级 编程 语言 中 神经 网 络 的 混合 编程 ， 并 配 有 丰 寅 的 实例 。 

全 书 内 容 主要 包括 : 人 工 神经 网 络 概述 ， 实 用 神经 网 络 模型 与 学 习 算法 ， 神 经 网 络 算法 优化 ， 
nnToolKit 神经 网 络 工具 包 ，MATLAB 混合 编程 技术 ， 混 合 编程 案例 ，2NDN 神经 网 络 建 模仿 真 平 
台 。 第 1 章 人 工 神经 网 络 概述 ， 介 绍 了 神经 网 络 的 基础 知识 、 特 点 以 及 应 用 ， 使 得 初学 者 对 神经 网 
络 有 个 基本 的 了 解 ; 第 2 章 实用 神经 网 络 模型 与 学 习 算法 ， 详 细 地 介绍 了 常用 神经 网 络 模型 与 学 习 
算法 ， 并 给 出 了 完整 的 示例 ， 第 3 章 神经 网 络 算法 优化 ， 重 点 介绍 了 BP 网 络 学 习 算法 的 改进 算法 ， 
模糊 神经 网 络 ， 基 于 遗传 算法 的 神经 网 络 训练 方法 (GA-BP 法 )， 小 波 神经 网 络 ; 第 4 章 nnToolKit 
神经 网 络 工具 包 ， 重 点 介绍 nnToolKit 神经 网 络 工具 包 。nnToolKit 是 一 个 基于 MATLAB 神经 网 络 
工具 箱 编写 的 常用 神经 网 络 函数 的 集合 ， 其 M 文件 可 单独 运行 ， 可 编译 成 MEX、C、CPP， 或 直接 
封装 成 DLL 库 ， 在 脱离 MATLAB 环境 的 情况 下 ， 直 接 供 高 级 语言 调用 ， 并 给 出 工程 实践 中 的 4 个 
完整 实例 : 基于 LM 算法 进行 房地产 开发 风险 预测 ， 模 糊 神经 网 络 预测 地 基 沉 降 量 ， 基 于 遗传 神经 





网 络 的 图 像 分 制 ， 小 波 神经 网 络 在 1-D 插值 上 的 应 用 。 第 5 章 MATLAB 混合 编程 技术 ， 详 细 介绍 
了 MATLAB COM Builder、Excel Builder 等 Matlab 混合 编程 技术 ， 同 时 介绍 了 一 个 案例 一 一 电力 行 
业 的 漏 窃 电 预测 。 第 6 章 神经 网 络 混合 编程 案例 ， 完 整地 介绍 了 一 个 案例 一 一 个 人 资信 评级 系统 。 
附录 2NDN 神经 网 络 建 模仿 真 工具 介绍 了 目前 国内 较 受 欢迎 的 , 由 作者 开发 的 2NDN 神经 网 络 建 模 
仿真 平台 ， 这 个 平台 能 帮助 使 用 者 大 大 提高 开发 人 工 神经 网 络 的 效率 。 全 书 通过 翔实 的 神经 网 络 混 
合 编程 实例 为 读者 讲述 了 神经 网 络 的 常用 算法 及 混合 编程 实现 方法 ， 全 书 图 文 并 茂 ， 深 入 浅 出 ， 脉 
络 清晰 ， 可 读 性 强 。 相 信 广 大 读者 通过 认真 学 习 本 书 ， 能 快速 学 会 神经 网 络 技术 及 其 混合 编程 实现 
方法 ; 
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俱乐部 会 员 田 大 新 、 程 起 才 、 李 刚 、 谭 显 胜 、 冰 露 、 田 慧 欢 、 马 琼 雄 、 李 增 祥 、 李 超 、 杨 富 森 、 刘 
宇 、 潘 永 刚 等 为 图 书 的 组 织 及 书稿 的 材料 整理 提供 了 帮助 与 意见 ， 另 外 ， 还 有 不 少 俱乐部 会 员 在 本 
书 的 编写 过 程 中 也 付出 了 自己 的 劳动 。 在 本 书 的 编写 过 程 中 , 合肥 工业 大 学 计算 机 学 院 胡 学 钢 教授 
给 出 了 具体 的 指导 意见 ,广州 万 友人 工 智能 软件 有 限 公司 提供 了 大 量 的 神经 网 络 源 程序 及 详尽 案例 ， 
在 此 一 并 表示 变心 的 感谢 。 

本 书 可 作为 高 等 学 校 理 工 类 各 专业 高 年 级 本 科 生 和 研究 生 的 神经 网 络 课程 的 教材 ， 也 可 作为 各 
领域 工程 技术 人 员 的 参考 用 书 ， 还 可 作为 其 他 科技 工作 者 应 用 神经 网 络 的 参考 资料 。 

由 于 时 间 仓 促 加 之 作者 本 身 水 平 有 限 ， 书 中 错误 之 处 在 所 难免 。 在 此 ， 敬 请 各 领域 专家 和 广大 
读者 批评 指正 。 

联系 方式 如 下 : 咨询 电话 : 〈020) 33118470 电子 邮件 : service@2nsoftcn 
俱乐部 网 址 ，http:/www.2nsoftcn ”http://www.2nsoftcn/bbs 
编者 





目录 






































人 工 神经 网 络 概 
1.1 神经 网 络 的 基本 概念 
1.1.1 生物 神经 元 的 结构 与 功能 
1.1.2 人 工 神经 元 模型 … 
1.1.3 神经 网 络 的 结构 及 工作 方 了 
1.1.4 神经 网 络 的 学 习 … 

1.2 神经 网 络 的 特点 及 其 应 用 
1.2.1 神经 网 络 的 特点 
1.2.2 神经 网 络 的 应 用 领域 

练习 题 

第 2 章 实用 神经 网 络 模型 与 学 : 

2.1 感知 器 神经 网 络 模型 与 学 习 算 
2.1.1 单 层 感知 器 
2.1.2 单 讨 4 
2.1.3 单 层 感知 器 学 习 算法 的 MATLAB 
2.1.4 多 层 感 知 机 .…. 

2.2 线性 神经 网 络 模型 与 学 习 算法 
2.2.1 线性 神经 元 网 络 模 
2.2.2 线性 神经 网 络 的 学 习 算 法 
2.2.3 线性 神经 网 络 学 习 算法 的 MATLAB 函数 .. 

2.3 BP 神经 网 络 模型 与 学 习 算法 .… 
2.3.1BP 神经 网 络 模型 
2.3.2 BP 网 络 的 标准 学 习 算 
2.3.3 BP 神经 网 络 学 习 算法 的 MATLAB 函 

2.4 径 向 基 范 数 神经 网 络 模型 与 学 习 算法 … 
2.4.1RBF 神经 网 络 模型 
2.4.2RBF 网 络 的 学 习 算法 . 
2.4.3RBF 网 络 学 习 算 法 的 MATLAB 

2.5 自 组 织 神经 网 络 模型 与 学 习 算法 …- 

2.6 学 习 向 量 量化 (LVQ) 神 经 网 络 模型 与 学 习 算 





2.6.1 LVQ 神经 网 络 结构 .… 
2.6.2LIVQ 神经 网 络 算法 
2.6.3 LVQ 神经 网 络 的 MATLAB 函数 
2.7 Elman 神经 网 络 算法 模型 与 学 习 算 ; 
2.7.1Elman 神经 网 络 结构 
2.7.2Elman 神经 网 络 算法 . . 
2.7.3Elman 神经 网 络 MATLAB 函数 . 
2.8 Hopfield 神经 网 络 模型 与 学 习 算法 .… 
2.8.1 离散 Hopfield 神经 
2.8.2 连续 Hopfield 神经 | 
2.8.3 Hopficld 站 二 函数 .. 
2.9 Boltzmann 神经 网 络 模型 与 学 习 算法 . 
2.9.1Boltzmann 机 的 网 络 结构 
2.9.2Boltzmann 机 学 习 算 法 
2.10 模糊 神经 网 络 … 
2.10.1 模糊 神经 网 络 主要 
2.10.2 模糊 神经 网 络 模 
2.10.3 模糊 神经 网 络 学 习 方 法 
2.10.4 模糊 逻辑 MATLAB 函数 . 
练习 题 
第 3 章 神经 网 络 优化 广 
3.1 BP 网 络 学 习 算法 的 改进 …… 
3.1.1 消除 样本 输入 顺序 影响 的 改进 算法 
3.1.2 附加 动量 的 改进 算 ? 
3.1.3 采用 自 适 应 调整 参数 的 改进 算法 
3.1.4 使 用 弹性 方法 的 改进 算法 . 
3.1.5 使 用 拟 牛 顿 法 的 改进 算法 . 
3.1.6 基于 共 斩 梯 度 法 的 改进 算法 .. 
3.1.7 基于 Levenberg-Marquardt 法 的 改进 算法 
3.2 基于 遗传 算法 的 神经 网 络 优化 方 
3.2.1 概述 … 
3.2.2 进 传 算法 简介 -。 
3.2.3 遗传 算法 工 具 箱 
3.2.4 用 遗传 算法 优化 神经 网 络 权 人 
3.3 小 波 神经 网 络 . 































































练习 题 … 

第 4 章 nnToolKit 神经 网 络 工具 包 , 
4.1 nnToolKit 简介 .. 
4.2 nnToolKit 函数 库 

42.1 LmTrain () 
4.2.2 LmSimu() 
4.2.3 FnnTrain ( ) .. 
4.2.4 FnnSimu() 
4.2.5 initnet ( ).… 
4.2.6 gadecod () 
4.2.7 gafitness ( )… 
4.2.8 generatesample( ) 
4.2.9 getWBbysga ( ). 
4.2.10 segment ( ). 
4.2.11 gabptrain ( 
4.2.12 compbpandgabp ( ) 
4.2.13 demo ( ) . 
4.3 程序 解析 .…… 
4.4 工具 包 扩展 
4.5 应 用 举例 … 
4.5.1 基于 LM 网 络 的 房 # 
4.5.2 模糊 神经 网 络 预测 地 基 沉 降 量 
4.5.3 基于 遗传 神经 网 络 的 图 像 分 箱 
4.5.4 小 波 神经 网 络 在 1-D 插值 上 的 应 用 . 
练习 题 .…. 5 

第 5 章 MATLAB 
5.1 概述 .… 
5.2 COM 生成 器 (COM Builder) 

5.2.1 创建 nnToolKit 的 COM 组 件 
5.2.2 nnToolKit 组 件 的 安装 
5.2.3 VB 调用 nnToolKit 神经 网 络 工具 包 实 现 混合 编程 
5.2.4 CB 调用 nnToolKit 神经 网 络 工具 包 实 现 混合 编程 . 


























发 风险 预测 模 















混合 编 和 技术 

















5.2.5 VC 调用 nnToolKit 神经 网 络 工具 包 实 现 混合 编程 .pe 152 
5.3 Excel 生成 器 (Excel Builder) .… 161 
5.3.1 创建 nnxToolKit 的 Excel 插件 .. 161 
5.3.2 nnxToolKit 组 件 安装 .…… 165 





5.3.3 将 nnxToolKit 组 件 集成 到 VBA 中 
5.3.4 创建 图 形 用 户 界 面 
5.3.5 保存 和 测试 插件 
5.3.6 分 发 应 用 程序 
5.3.7 应 用 示例 


165 
168 
177 
178 
178 
183 
合 编程 案例 184 
和 184 























6.2 预测 评价 指标 体 184 
6.3 预测 评估 模型 . 185 
6.4 有 效 模式 和 样本 集 的 确定 …. 187 





6.5 样本 库 的 建立 和 归 一 化 处 理 
6.5.1 样本 库 的 建 


187 
188 


6.5.2 归 一 化 处 理 188 

6.6 系统 实现 . 189 
练习 题 . 190 
附录 2NDN 记 工具 191 










1 2NDN 神经 网 络 建 模型 仿真 工具 简介 

1.1 2NDN 主要 特点 

1.2 2NDN 功能 简介 
2 基于 时 间 序 列 的 股票 趋势 预测 模型 … 
3 用 2NDN 神经 网 络 建 模型 仿真 工具 实现 
练习 题 … 
参考 文献 


191 
191 
192 
194 
204 
209 





第 1 章 ” 人 工 神经 网 络 概述 


人 工 神经 网 络 (Artificial Neural Networks，ANNs)， 也 简称 为 神经 网 络 (NNs)， 是 模拟 生物 神 
经 网 络 进行 信息 处 理 的 一 种 数学 模型 。 它 以 对 大 脑 的 生理 研究 成 果 为 基础 ， 其 目的 在 于 模拟 大 脑 的 
某 些 机 理 与 机 制 ， 实 现 一 些 特定 的 功能 。 目 前 ， 人 工 神经 网 络 已 应 用 于 很 多 领域 。 本 章 主 要 对 人 工 
神经 网 络 的 基本 理论 做 一 个 全 面 简要 的 介绍 。 


1.1 神经 网 络 的 基本 概念 


1.1.1 生 物 神 经 元 的 结构 与 功能 特点 


人 工 神经 网 络 从 生物 神经 网 络 发 展 而 来 ， 
约 有 100 亿 个 神经 元 ，60 万 亿 个 神经 突 触 以 及 的 连接 体 。 

神经 元 是 基本 的 信息 处 理 单元 。 生 物 神经 元 主要 由 细胞 体 、 树 突 、 轴 突 和 突 触 组 成 。 

(0 细胞 体 ”细胞 体 是 神经 元 的 主体 。 由 细胞 核 、 细 胞 质 和 细胞 膜 3 部 分 构成 。 它 是 神经 元 活动 
的 能 量 供应 地 ， 也 是 进行 新 陈 代谢 等 各 种 生化 过 程 的 场所。 

(2) 树 突 后 后 和 和 估 全 这 些 突起 称 为 树 突 。 神 经 元 莫 树 突 接受 来 
自 其 他 神经 元 的 输入 信和 号， 相当 于 细胞 体 的 输入 端 。 

G) 轴 突 由 细胞 体 伸 出 的 最 长 的 一 突起 称 为 轴 突 ， 轴 突 比 树 突 长 而 细 ， 用 来 传 出 细胞 体 产生 
的 输出 电化 学 信号 ， 相 当 于 细胞 体 的 输出 端 。 

(4) 突 触 ” 神 经 元 之 问 通过 一 个 神经 元 的 轴 突 末梢 和 其 他 神经 元 的 细胞 体 或 树 突进 行 通信 连接 、 
这 种 连接 相当 于 神经 元 之 间 的 输入 输出 接口 ， 称 为 突 触 。 

现代 生理 学 研究 已 经 证 明 : 人 类 大 脑 的 活动 ， 不 是 一 个 生物 神经 元 所 能 完成 的 ， 也 不 是 多 个 生 
物 神经 元 功能 的 简单 矢 加 ， 而 是 多 单元 的 非 线性 的 动态 处 理 系统 。 






一 个 神经 细胞 ， 在 人 类 大 脑 皮 层 中 大 












1. 1. 2 人 工 神经 元 模型 


人 工 神经 元 是 人 工 神经 网 络 操作 的 基本 信息 处 理 单位 。 人 工 神经 元 的 模型 如 图 1-1 记 示 ， 它 是 
人 工 神经 网 络 的 设计 基础 。 
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图 1-1 人 工 神经 元 模型 

人 工 神经 元 模型 可 以 看 成 是 由 3 种 基本 元 素 组 成 : 

(0 一 组 连接 连接 强度 由 各 连接 上 的 权 值 表示 ， 权 值 可 以 取 正 值 也 可 以 取 负 值 ， 权 值 为 正 表示 
激活 ， 权 值 为 负 表示 抑制 。 

(2) 一 个 加 法 器 用 于 求 输入 信号 对 神经 元 的 相应 突 触 加 权 的 和 。 

(3) 一 个 激活 函数 用 来 限制 神经 元 输出 振幅 。 激 活 函数 也 称 为 压制 函数 ， 因 为 它 将 输入 信和 号 压 
制 (限制 ) 到 允许 范围 之 内 的 一 定 值 。 通常 , 一 个 神经 元 输出 的 正常 幅度 范围 可 写成 单位 闭 区 问 [0, 1]， 
或 者 另 一 种 区 间 [-1，+H]。 

另外 ， 可 以 给 一 个 神经 元 模型 加 一 个 外 部 偏 置 ， 记 为 各 。 偏 置 的 作用 是 根据 其 为 正 或 为 负 ， 相 


应 地 增加 或 降低 激活 函数 的 网 络 输入 。 一 个 人 工 神经 元 大 可 以 用 以 下 公式 表示 : 
几 = 袜 wa 


长 三 人 十 色 ) 








式 中 34G=1 输入 信号 ; 





WE 神经 元 上 的 突 触 权 值 〈 对 于 激发 状态 ，wx 取 正 值 ;， 对 于 抑制 状态 ，x 取 
负 值 ， 灵 为 输入 信号 数目 ); 
上 输入 信号 线性 组 合 器 的 输出 ; 


如。 神经 元 单元 的 偏 置 〈 阔 值 ); 


Jr 神经 元 输出 信号 。 


激活 函数 主要 有 以 下 3 种 形式 ， 其 中 ，vY = 由 ++ 欠 


(1) 域 值 函数 即 阶梯 函数 ， 当 函数 的 自 变 量 小 于 0 时 ， 函 数 的 输出 为 0; 当 函 数 的 自 变 量 大 于 或 
等 于 0 时 ， 函 数 的 输出 为 1。 用 该 函数 可 以 把 输入 分 成 两 类 ; 


fo = Vv>0 
0 V<0 





(2) 分 段 线性 函数 该 函数 在 〈-1，+1) 线性 区 内 的 放大 系数 是 一 致 的 ， 这 种 形式 的 激活 函数 可 
以 看 作 是 非 线性 放大 器 的 近似 ， 如 图 1-2a 所 示 。 
1]，vz1 
f(v)=4w -1<v<1 
-1]，yv<-1 


(3) 非 线性 转移 函数 该 函数 为 实数 域 R 到 [0，1] 闭 集 的 非 连续 函数 ， 代 表 了 状态 连续 型 神经 元 
模型 。 最 常用 的 非 线 性 转移 函数 是 单 极 性 Sigmoid 函数 曲线 ， 简 称 S 型 函数 ， 其 特点 是 函数 本 身 及 
其 导数 都 是 连续 的 ， 能 够 体现 数学 计算 上 的 优越 性 ， 因 而 在 处 理 上 十 分 方便 。 单 极 性 S 型 函数 定义 
如 下 : 

1 
l+e 


有 时 也 采用 双 极 性 S 型 函数 〈 即 双 曲 正切 ) 等 形式 : 





frv) = 








frv) = 
1+e 1+e 





单 极 S 型 函数 曲线 特点 如 图 1-2b 所 示 。 





图 1-2 激活 函数 
a) 分 段 线性 函数 b) 单 极 S 型 函数 


1.1. 3 神经 网 络 的 结构 及 工作 方式 


如 果 将 大 量 功能 简单 的 神经 元 通过 一 定 的 拓扑 结构 组 织 起 来 ， 构 成 群体 并 行 式 处 理 的 计算 结 
构 ， 则 这 种 结构 就 是 人 工 神经 网 络 。 
的 输出 送 到 另 一 个 神经 元 作为 输入 信和 号称 之 为 连接 ， 每 个 连接 通路 对 应 一 个 连接 
过 不 同 的 连接 方式 将 得 到 具有 不 同 特性 的 神经 网 络 。 
同 连接 方式 ， 可 将 神经 网 络 分 为 两 大 类 : 分 层 网 络 和 相互 连接 型 网 络 。 






神经 天 

根据 神经 元 的 不 

1 分 层 网 络 

分 层 网 络 将 一 个 神经 网 络 模型 中 的 所 有 神经 元 按照 功能 分 成 若干 层 。 一 般 有 输入 层 、 隐 含 层 (中 
间 层 ) 和 输出 屋 ， 各 层 顺 次 连接 。 

输入 层 接收 外 部 输入 模式 ， 并 由 各 输入 单元 传送 给 相连 的 隐 含 层 各 单元 ， 隐 含 层 是 神经 网 络 的 
内 部 处 理 单元 层 ， 神 经 网 络 所 具有 的 模式 变换 能 力 ， 如 模式 分 类 、 模 式 完善 、 特 征 抽取 等 ， 主 要 体 
现在 隐 含 层 单元 的 处 理 ， 根 据 模式 变换 功能 的 不 同 ， 隐 含 层 可 以 有 多 层 ， 也 可 以 没有 一 层 ; 输出 层 
产生 神经 网 络 的 输出 模式 。 

分 层 网 络 可 以 细 分 为 3 种 互联 方式 : 

() 单 纯 的 前 向 网 络 ( 见 图 1-3a) 输入 模式 由 输入 层 进入 网 络 , 经 过 中 间 各 层 的 顺序 模式 变换 , 由 
输出 层 产 生 一 个 输出 模式 ， 便 完成 一 次 网 络 状 态 的 更 新 。 









































图 1-2 神经 网 络 的 连接 方式 








a) 单纯 的 前 向 网 络 b) 具有 反馈 的 前 向 网 络 c) 层 内 互联 前 向 网 络 d) 互联 网 络 


(2) 具 有 反馈 的 前 向 网 络 ( 见 图 1-3b) 反馈 的 结构 形成 封闭 环 路 ， 具 有 反馈 的 单元 也 称 为 隐 单 元 ， 
其 输出 称 为 内 部 输出 ， 而 网 络 本 身 还 是 前 馈 型 的 。 

(3) 层 内 互联 的 前 向 网 络 ( 见 图 1-3c) 同一 层 内 单元 的 相互 连接 使 它们 彼此 之 间 相 互 制约 , 如 限制 
同一 层 内 能 同时 激活 的 单元 个 数 ， 而 从 外 部 看 来 还 是 前 向 网 络 。 一 些 自 组 织 竞 争 网 络 就 采用 这 种 拓 
扑 结构 。 





2. 相 互 连 接 型 网 络 

如 图 1-3d 所 示 ， 议 谓 相互 连接 是 指 网 络 中 任意 两 个 单元 之 间 都 是 可 达 的 ， 即 存在 连接 路 径 。 互 
连 网 络 又 分 为 局 部 互 连 和 全 互 连 。 全 互连网 络 中 每 个 神经 元 的 输出 都 与 其 他 神经 元 相连 ， 而 局 部 互 
连 网 络 中 ， 有 些 神经 元 之 问 没有 连接 关系 。 

对 于 简单 的 前 向 网 络 , 给 定 某 一 输入 模式 ， 网 络 能 迅速 产生 一 个 相应 的 输出 模式 ， 并 保持 不 变 。 
但 在 相互 连接 的 网 络 中 ， 对 于 给 定 的 某 一 输入 模式 ， 由 某 一 网 络 参数 出 发 ， 在 一 段 时 间 内 处 于 不 断 
改变 输出 模式 的 动态 变化 中 ， 网 络 最 终 可 能 产生 某 一 稳定 的 输出 模式 ， 但 也 可 能 进入 周期 性 振荡 或 
混沌 状态 。 


1.1. 4 神经 网 络 的 学 习 


1. 学 习 方式 

神经 网 络 的 学 习 也 称 为 训练 ， 指 的 是 神经 网 络 在 受到 外 部 环境 的 刺激 下 调整 神经 网 络 的 参数 ， 
使 神经 网 络 以 一 种 新 的 方式 对 外 部 环境 作出 反应 的 一 个 过 程 。 

能 够 从 环境 中 学 习 和 在 学 习 中 提高 自身 性 能 是 神经 网 络 最 有 意义 的 性 质 ,神经 网 络 经 过 反复 学 
习 来 达到 对 环境 的 了 解 。 

神经 网 络 的 学 习 方式 可 分 为 有 导师 

(0 有 导师 学 习 亦 称 监督 学 习 ， 它 需 组 织 一 批 正确 的 输入 输出 数据 对 。 将 输入 数据 加 载 到 网 络 
输入 端 后 ， 把 网 络 的 实际 输出 与 的 输出 相 比较 得 到 误差 ， 然 后 根据 误差 的 情况 修改 各 连 
接 权 值 ， 使 网 络 能 朝 着 正确 响应 的 方向 不 断 变化 下 去 ， 直 到 实际 的 输出 与 期 望 输出 之 差 在 允许 范围 
之 内 。 

(2) 无 导师 学 习 亦 称 无 监督 学 习 ， 这 时 仅 有 一 批 输入 数据 。 网 络 初始 状态 下 ， 连 接 权 值 均 设置 
为 一 小 正 数 ， 通 过 反复 加 载 这 批 输入 数据 ， 使 网 络 不 断 受到 刺激 ， 当 与 曾经 历 的 刺激 相同 的 刺激 到 
来 时 ， 响 应 连接 权 以 某 一 系数 增 大 ， 重 复 加 入 的 同样 刺激 使 相应 的 连接 权 增 大 到 接近 !1 的 某 值 。 这 
一 自 组织 的 方法 ， 使 网 络 具 有 某 种 “记忆 ”能 力 以 至 形成 “条 件 反 射 ” 当 曾 经 学 习 过 或 相似 的 刺激 
加 入 后 ， 输 出 端 便 按 权 值 矩 阵 产生 相应 的 输出 。 

G) 再 励 学 习 亦 称 强化 学 习 。 这 种 学 习 介 于 上 述 两 种 情况 之 间 ， 外 部 环境 对 系统 输出 结果 只 给 
出 评价 ( 奖 和 罚 ) 而 不 是 给 出 正确 答案 ， 学 习 系统 通过 强化 那些 受奖 励 的 动作 来 改善 自身 性 能 。 

2. 学 习 算法 

学 习 算法 是 指针 对 学 习 问 题 的 明确 规则 ， 学 习 类 型 是 由 参数 变化 发 生 的 形式 决定 的 ， 不 同 的 学 
习 算法 对 神经 元 的 权 值 调整 的 表达 式 是 不 同 的 。 没 有 一 种 独特 的 学 习 算法 适用 于 设计 所 有 的 神经 网 
络 。 选 择 或 设计 学 习 算法 时 还 需要 考虑 神经 网 络 的 结构 及 神经 网 络 与 外 界 环境 相连 接 的 形式 。 

(DHebb 学 习 规则 它 是 D.O.Hebb 根据 生物 学 中 条 件 反射 机 理 , 于 1949 年 提出 的 神经 元 连接 强 






习 、 无 导师 学 习 和 再 励 学 习 。 











二 





度 变化 的 规则 ,属于 无 导师 学 习 。 其 内 容 为 :如 果 两 个 神经 元 同时 兴奋 , 则 它们 之 间 的 突 触 连接 加 强 。 
如 果 神 经 元 ?是 神经 元 7 的 上 层 结 点 ， 用 汪 表示 神经 元 ;和 的 激活 值 (输出 )，" 表示 两 个 神经 
元 之 间 的 连接 权 ， 则 Hebb 学 习 规则 可 以 表示 为 


Aw =7TTVVi 


式 中 刀 表 示 学 习 速 率 。Hebb 学 习 规 则 是 人 工 神经 网 络 学 习 的 基本 规则 , 几乎 所 有 神经 网 络 的 学 
习 规 则 都 可 以 看 作 Hebb 学 习 规则 的 变形 。 

(2)5 学 习 规则 (误差 校正 学 习 算法 ) 误差 校正 学 习 算法 的 适用 面 比较 广 一 些 , 它 可 用 于 非 线性 神 
经 元 的 学 习 过 程 。 它 学 习 样本 的 数量 也 没有 限制 ， 甚 至 于 它 还 容忍 训练 样本 中 的 矛盾 之 处 ， 这 也 是 
神经 网 络 容 错 性 能 的 表现 方式 之 一 ， 误 差 校正 学 习 算 法 是 根据 神经 网 络 的 输出 误差 对 神经 元 的 连接 
,DY ) ,=12… 






强度 进行 修正 ， 属 于 有 导师 学 习 。 设 人 为 输入 输出 样本 数据 对 ， 其 中 ， 





5 ee 国 本 二 es 村 
X Derxaoxo] ,D 一 [dd 中 。 把 作为 网 络 的 输入 ， 在 连接 权 的 作用 下 ， 可 得 到 网 


Ch 人 攻 
络 的 实际 条 昌国 [yya wm 。。 设 种 经 元 ;到 了 的 连接 权 为 岂 ， 则 权 的 调整 最 为 
Awi =761 


ec 立 w(O-m(D 


式 中 ， 刀 为 学 习 速率 为 误 关 函数 对 神经 元 了 输入 的 偏 导数， 为 第 ;个 神经 元 的 输出 。 它 
是 神经 网 络 中 非常 重要 的 一 类 算法 ， 前 馈 网 络 的 BP 算法 即 是 5 学 习 规则 。 

G) 随 机 学 习 算法 在 上 面谈 到 的 误差 学 习 算法 通常 采用 梯度 下 降 法 ， 存 在 局 部 最 小 问题 。 随 机 
学 习 算 法 通过 引入 不 稳定 因子 来 处 理 这 种 情况 。 如 果 把 神经 网 络 的 当前 状态 看 作 一 个 小 球 ， 神 经 网 
络 的 误差 函数 看 作 是 超 平面 ， 当 小 球 达 到 局 部 最 小 值 时 ， 增 加 不 稳定 因子 ， 即 对 小 球 加 一 个 冲 量 ， 
则 小 球 会 越过 峰值 点 ， 而 达到 全 局 最 小 点 ， 即 神经 网 络 最 终 收 敛 于 全 局 最 小 点 。 一 般 而 言 ， 不 稳定 
因子 是 从 大 到 小 逐渐 变化 的 ， 只 要 其 变化 足够 慢 ， 学 习 时 间 足 够 长 ， 总 存在 一 种 状态 使 得 神经 网 络 
可 从 局 部 最 小 跳出 ， 而 无 法 从 全 局 最 小 跳出 ， 从 而 使 神经 网 络 收敛 于 全 局 最 小 点 。 比 较 著名 的 随机 
学 习 算 法 有 模拟 退化 算法 和 遗传 算法 。 

(4) 竞 争 学 习 算 法 有 导师 的 学 习 算法 不 能 充分 反映 出 人 脑 神经 系统 的 高 级 智能 学 习 过 程 ， 人 脑 
神经 系统 在 学 习 过 程 中 各 个 细胞 始终 存在 竞争 。 竞 争 学 习 网 络 由 一 组 性 能 基本 相同 ， 只 是 参数 有 所 
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不 同 的 神经 元 构成 。 对 于 一 个 输入 模式 内 各 子 模式 的 作用 ， 每 个 神经 元 通过 互相 竞争 来 做 出 不 同 的 
反映 ， 每 个 神经 元 的 激活 范围 遵循 某 种 特定 的 限制 。 

竞争 学 习 的 基本 思想 是 :竞争 获胜 的 神经 元 权 值 修正 ， 获 胜 神经 元 的 输入 状态 为 1 时 ,相应 的 权 
值 增加 ， 状 态 为 0 时 权 值 减 小 。 过 程 中 ， 权 值 越 来 越 接近 于 相应 的 输入 状态 。 竞 争 学 习 属于 无 
导师 算法 。Kohomen 提出 的 自 组 织 特征 映射 网 (Self.Organization Feature Map，SOM) 及 自 适应 共振 
网 (Adaptive Resonace Theory，ART) 均 采用 这 种 算法 。 






1.2 神经 网 络 的 特点 及 其 应 用 


1.2.1 神经 网 络 的 特点 


神经 网 络 的 基本 属性 反映 了 神经 网 络 特点 ， 主 要 表现 在 

1， 并 行 分 布 式 处 理 神经 网 络 具有 高 度 的 并 行 结构 和 并 行 实现 能 力 ， 具 有 六 
力 ， 能 够 发 挥 计算 机 的 高 速 运算 能 力 ， 可 能 很 快 找 到 优化 解 。 

2. 非 线 性 处 理 人 脑 的 思维 是 非 线性 的 ， 故 神经 网 络 模拟 人 的 思维 也 应 是 非 线性 的 。 这 一 特性 
有 助 于 处 理 非 线性 问题 。 

3. 具有 自学 习 功 能 通过 对 过 去 的 历史 数据 的 学 习 ， 训 练 出 一 个 具有 归纳 全 部 数据 的 特定 的 神 
经 网 络 ， 自 学 习 功能 对 于 预测 有 特别 重要 的 意义 。 

4. 神经 网 络 的 硬件 实现 要 使 人 工 神经 网 络 更 快 、 更 有 效 地 解决 更 大 规模 的 问题 ， 关 键 在 于 其 
超大 规模 集成 电路 〈V LSI) 硬件 的 实现 ， 即 把 神经 元 和 连接 制作 在 一 块 芯 片上 《多 为 CMOS) 构 
成 ANN， 神 经 网 络 的 VLSI 设计 方法 近年 来 发 展 很 快 ， 硬 件 实现 已 成 为 ANN 的 一 个 重要 分 支 。 





寻找 优化 解 的 能 





1. 2.2 神经 网 络 的 应 用 领域 


近 些 年 来 神经 网 络 在 众多 领域 得 到 了 广泛 的 运用 。 在 民用 应 用 领域 的 应 用 ， 如 语言 识别 、 图 像 
识别 与 理解 、 计 算 机 视觉 、 智 能 机 器 人 故障 检测 、 纯 译 、 企 业 管理 、 市 场 分 析 、 决 策 优化 、 
物资 调运 、 自 适应 控制 、 专 家 系统 、 智 能 接口 、 神 经 生理 学 、 心 理学 和 认 知 科学 研究 等 等 ;在 军用 
应 用 领域 的 应 用 ， 如 雷达 、 声 纳 的 多 目标 识别 与 跟踪 ， 战 场 管理 和 决策 支持 系统 ， 军 用 机 器 人 控制 
各 种 情况 、 信 息 的 快速 录取 、 分 类 与 查询 ， 导 弹 的 智能 引导 ， 保 密 通信 ， 航 天 器 的 姿态 控制 等 。 






练习 题 





1、 什 么 是 人 工 神经 网 络 ， 研 究 人 工 神经 网 络 的 目的 是 什么 ? 
2、 人 工 神经 网 络 是 从 哪些 方面 去 模拟 人 的 智能 的 ? 


二 呈 


第 2 章 


人 工 神经 网 络 具有 大 规模 并 行 分 布 式 结构 、 
利用 人 工 
存在 适用 于 
神经 网 络 模型 ， 就 必须 掌握 
在 此 基础 上 ， 将 常用 的 人 工 神 
问题 。 









本 章 将 详细 介绍 几 种 常用 神经 网 络 的 算法 ， 着 


经 网 络 来 解决 许多 用 传统 方 法 天 法 和 的 
“各 种 环境 和 情况 的 通用 人 工 神经 网 络 模型 ， 
眉 的 人 工 神经 网 络 模型 和 学 习 
网 络 做 相应 的 修改 让 


、 如 何 理解 人 工 神经 网 络 的 学 习 能 力 ? 有 哪 几 种 学 习 方 法 ? 
、 偏 置 的 作用 是 什么 ? 激活 函数 的 作用 是 什么 ? 激活 函数 有 哪些 主要 形式 ? 


实用 神经 网 络 模型 与 学 习 算法 


:学 习 能 力 以 及 由 此 而 来 的 泛 化 能 力 ， 因 此 可 以 
杂 问 题 。 由 于 实际 情况 千差万别 ， 目 前 还 不 
为 了 解决 实际 问题 ， 构 建 特 定 情况 下 的 人 工 
了 解 它们 的 1 适用 范围 ， 
应 用 到 所 过 到 的 特定 环境 中 ， 解 决 自 己 的 实际 













重 讲解 这 些 神经 网 络 的 特点 、 模 型 及 其 算法 。 


MATLAB 是 一 款 非常 优秀 的 仿真 工具 , 它 的 神经 网 络 工具 箱 提 供 了 许多 进行 神经 网 络 设计 和 分 析 的 


工具 函数 ， 给 使 用 人 工 神经 网 络 来 解决 实际 问题 的 有 


户 带 来 了 极 大 的 方便 ， 即 使 对 计算 机 编程 语言 


不 熟悉 ， 也 可 以 让 接应 用 功能 丰富 的 函数 来 解决 自己 的 实际 问题 。 因 此 ， 本 章 在 介绍 常用 神经 网 络 


的 首先 介绍 MATLAB 的 使 用 方法 ， 在 介绍 每 





一 个 常用 的 人 工 神经 网 络 模型 和 学 习 算 法 后 ， 


给 出 了 与 之 相对 应 的 MATLAB 神经 网 络 仿真 工具 箱 函数 ， 并 用 对 应 的 工具 箱 函数 实现 一 个 具体 实 





例 ， 读 者 可 以 参 


* 实 例 ， 根 据 自己 的 需要 去 调用 这 些 工具 箱 中 的 函数 来 创建 自己 的 神经 网 络 ， 


也 可 以 利用 第 4 章 介绍 的 nnToolKit 神经 网 络 工具 包 和 第 5 章 的 MATLAB 混和 编程 技术 编写 自己 的 
函数 ， 设 计 并 实现 适合 自己 领域 内 的 特定 问题 的 神经 网 络 方案 。 
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2.1 MATLAB 快速 入 门 


熟悉 MATLAB 软件 的 基本 功能 与 操作 方式 ， 对 于 正确 快速 地 利用 MATLAT 中 的 神经 网 络 工具 
箱 函 数 来 创建 自己 的 神经 网 络 将 起 到 事半功倍 的 作用 。 下 面 将 介绍 MATLAB 软件 的 主要 操作 界面 
的 使 用 方法 、 基 本 运算 与 绘图 函数 。 对 于 没有 介绍 的 函数 的 功能 、 调 用 格式 及 详细 使 用 方法 ， 读 者 
可 以 通过 相关 的 MATLAEB 书籍 或 MATLAB 的 帮助 文档 得 到 。 


2.1.1 WMATLAB 界面 组 成 


安装 好 MATLAB 后 ， 启 动 MATLAB， 则 可 以 看 到 如 图 2-1-1 所 示 的 界面 ， 界 面 主要 由 命令 行 
窗口 、 命 令 历史 窗口 、 工 作 空间 浏览 器 窗口 、 当 前 目录 窗口 和 编辑 调试 窗口 所 组 成 。 


MATLAB = 旧 |X 
名 Edt yew web Window Hep 
~ 可 过 





Bytes Dass 


了 double arrey 


aa total is 4 aleaents using 32 bytes 


> 








图 2-1-1 MATLAB 界面 


11 





1、 命 令 行 窗口 是 MATLAB 的 输入 窗口 , 可 以 在 此 输入 MATLAB 的 命令 ,该 命令 可 以 是 一 句 
MATLAB 语句 ， 也 可 以 是 一 段 利 用 MATLAB 编程 功能 实现 的 代码 。 

2、 命令 历史 窗口 该 窗口 将 保存 在 命令 行 窗口 中 输入 的 所 有 命令 ， 如 果 需 要 重新 运行 以 前 输入 
的 命令 ， 只 需 在 命令 历史 窗口 中 选中 该 命令 ， 然 后 双击 鼠标 即 可 。 若 需 重新 运行 多 条 命令 ， 只 需要 
按 住 键 和 上 的 Shift 键 ， 然 后 选中 需要 重新 执行 的 命令 ， 双 击 选 中 的 命令 就 行 了 。 

3、 工 作 空间 浏览 器 窗口 本 窗口 存储 并 显示 当前 命令 行 窗口 中 所 有 的 变量 , 这 些 变量 保存 在 计 
算 机 的 内 存 中 ,在 MATLAB 进程 结束 以 前 ， 一 直 是 活动 的 。 在 命令 行 窗口 中 输入 who 和 whos， 可 
以 查看 当前 内 存 中 的 所 有 变量 ， 包 括 变量 的 名 称 、 大 小 和 类 型 。 在 命令 行 窗口 中 输入 clear， 可 以 清 
除 当前 内 存 的 所 有 变量 。 

4、 当前 目录 窗口 该 窗口 指示 当前 的 工作 目录 的 位 置 , 如 果 不 改动 的 话 , 默认 的 当前 目录 为 安 
装 MATLAB 路 径 下 的 work 文件 夹 。 


5、 编辑 调试 窗口 在 MATLAB 主 窗口 中 ， 点 击 “Start” 一 “Desktop Tools” 一 “Editor” 即 


可 打开 编辑 调试 窗口 ， 如 图 2-1-2 所 示 。 

X 
El Edt yew JIext Debug Breskponts Web WwWndow Hep 

口 芒 加 | 多重 本 只 己 | 后 | 的 大 | 下 区 | 碍 玫 芭 提 引 | wx 可 对 

只 定 溃 统 样本 数据 下 

P= [-0.4 -0506: 09001]; 

T= [1 1 0]; 

引 陡 一 个 有 两 个 输入 、 社 本 数 所 的 取 值 范围 都 在 [-1，1] 之 间 ， 并 且 网 络 只 有 一 个 神经 元 的 感知 器 神经 网 | 

met=newp([-1 1:-1 1],1)7 

3 进 置 网 络 的 景 大 训 红 次 灼 为 20 次 ， 即 训 结 20 次 后 站 束 训 络 

net trainParan epochs = 201 

X% 使 用 训 绑 函数 对 包 和 建 的 网 络 进行 训 红 

et=train net, PT)， 

XA 训 绑 后 的 网 络 进行 仿真 ， 即 根据 训 绑 后 的 网 络 和 祥 本 数 釉 结 出 输出 

=sin net,P) 

计划 网 络 的 平均 绝对 误差， 表示 网 络 异 误 分 类 

了 li=aae CT) 

持 定 删 试 数据 ， 检 油 几 每 好 的 神经 网 络 的 性 楷 

@=[0.6 0.9 -0.1; -0.1 -0.5 0.5]; 

Yil=sin (net,g) 

和 ea 

BlLotpy 罗 TH: 

三 灶 标 图 中 绘制 分 类 总 




















天 天 有 二 











蝇 


sepr Im3a co 





图 2-1-2 编辑 调试 窗口 
编辑 调试 窗口 用 于 MATLAB 程序 的 编写 和 执行 ， 当 程序 编写 结束 后 ， 保 存 为 一 个 M 文件 ,此 


12 





时 ， 可 以 从 Debug 菜单 中 选择 Run 命令 ， 也 可 以 直接 按 F5 来 执行 编写 好 的 程序 。 


2.1.2 WMATLAB 基本 运算 





MATLAB 包括 丰富 的 运算 与 函数 ， 因 篇 幅 问题 ， 不 可 能 在 此 一 一 列举 。 此 节 作 为 MATLAB 的 
快速 入 门 ， 仅 介绍 一 些 与 后 续 章节 联系 比较 密切 的 运算 与 函数 。 在 讲述 各 种 类 型 的 神经 网 络 时 ， 过 
到 此 章 没 有 介绍 的 MATLAB 函数 时 ， 也 会 作 简要 的 介绍 。 

1、 基 本 运算 在 MATLAB 下 进行 基本 数学 运算 ， 只 和 需 将 运算 式 直接 打 入 提示 号 “>>” 之 后 ， 
并 按 回 车 键 即 可 。 例 如 : 

>> (542+1.3-0.8)*10125 

ans =4.2000 

MATLAB 会 将 运算 结果 直接 存 入 一 变量 ans，ans 代表 MATLAB 运算 的 答案 并 在 屏幕 上 显示 其 
数值 。 也 可 将 上 述 运算 式 的 结果 赋 给 另 一 个 变量 x: 

X = (5S*2+1.3-0.8)*10^2/25 
尖 志 
42 

此 时 MATLAB 会 直接 显示 x 的 值 .在 MATLAB 中 廊 使 用 变量 , 其 命名 的 规则 就 遵循 以 下 规则 ; 

1) 第 一 个 字母 必须 是 英文 字母 ; 

2) 字母 问 不 可 留 空格 ， 

3) 最 多 只 能 有 19 个 字母 ，MATLAB 会 忽略 多 余 字 母 。 

由 上 例 可 知 ，MATLAB 认识 所 有 用 到 的 “+” “-” “*”、 “/” 的 数学 运算 符号 ， 以 及 
罕 运 算 符 号 “^”。MATLAB 将 所 有 变量 均 保 存 成 double 的 数据 类 型 ， 所 以 不 需 经 过 变量 声明 。 若 
不 想 让 MATLAB 每 次 都 显示 运算 结果 ， 只 和 需 在 运算 式 最 后 加 上 “:;” 即 可 ， 如 下 例 : 

yY= sin(10)*#*exp(-0.3*4^2); 

若 要 显示 变量 y 的 值 ， 直 接 键 入 y 即 可 : 

>>y 

y= 

-0.0045 

在 上 例 中 ，sin 是 正弦 函数 ，exp 是 指数 函数 ， 这 些 都 是 MATLAB 常用 到 的 数学 函数 。 

MATLAB 可 同时 执行 数 个 命令 ， 只 要 以 逗号 或 分 号 将 命令 隔 开 : 

x= sin(pi/3);y=Xx^2;Z=y*#10， 





z= 
7.5000 
若 一 个 数学 运算 式 太 长 ， 可 用 三 个 句点 将 其 延伸 到 下 一 行 : 





Z= 10*#sin(pi/3)# 

Sin(pi/3); 

2、MATLAB 的 查询 命令 若 对 MATLAB 函数 用 法 有 疑问 ， 可 随时 使 用 help 来 查询 该 函数 的 用 
法 。 例 如 已 知 inv 是 用 来 计算 逆 窍 阵 ， 键 入 help inv 即 可 得 知 有 关 inv 命令 的 用 法 。 键 入 help help 
则 显示 help 的 用 法 。 

3、 向 量 与 矩阵 的 表示 及 运算 变量 也 可 用 来 存放 向 量 或 矩阵 ， 并 进行 各 种 运算 。 

1 向量 的 表示 方法 与 运算 行 向 量 的 表示 方法 与 运算 示例 如 下 : 

x= [13 52]; % 表 示 一 个 行 向 量 

yY=2*Xx+1 

y= 

37115 
可 以 随意 更 改 、 增 加 或 删除 向 量 中 的 元 素 : 
yG3)=2 % 更 改 第 三 个 元 素 











y= % 更 改 第 三 个 元 素 后 的 结果 
3 

y(6)= 10 % 加 入 第 六 个 元 素 

y= %% 加 入 第 六 个 元 素 后 的 结果 
3725010 

y(4)=[ % 删除 第 四 个 元 素 

和 % 删 除 第 四 个 元 素 后 的 结 
372010 


在 上 例 中 ， 百 分 比 符号 〈%) 为 MATLAB 中 的 注释 符号 ， 运 行 时 MATLAB 会 忽略 该 符号 后 面 
的 所 有 的 文字 。 

MATLAB 亦 可 取出 向 量 的 一 个 元 素 或 一 部 分 向 量 来 做 运算 : 

x(2)*3+y(4) % 取出 x 的 第 二 个 元 素 和 y 的 第 四 个 元 素来 做 运算 














ans 一 

9 
yY(2:4)-1 % 用 Yy 的 第 二 至 第 四 个 元 素 分 别 做 减 1 运算 ，2:4 代表 向 量 中 的 第 2、3、4 号 元 素 
ans 一 

61-1 
将 行 问 量 转 置 后 ， 即 可 得 到 列 向 量 : 
下 一 
Zz= 

1 


3 





浊 
2 


2) 矩阵 的 表示 方法 和 各 种 处 理 方式 “一 个 三 行 四 列 的 矩阵 A 在 MATLAB 中 表示 为 : 
A=[1234;5678;9101112]， 在 MATLAB 的 命令 窗口 中 输入 上 述 表 达 式 ， 回 车 后 得 到 下 面 


的 结果 : 
记忆 
12 3 4 
作证- 宛 禹 
9 10 1 12 
托 阵 的 运算 示例 如 下 : 


A(2.3)=5% 将 矩阵 第 二 行 ， 第 三 列 的 元 素 值 置 为 5 
A= % 置 值 后 的 矩阵 

|, 症 : 莹 : 

划 交 县 记 

9 1011 12 


B=A(2,1:3) % 取 出 矩阵 A 中 第 二 行 第 一 个 到 第 三 个 元 素 ， 构 成 矩阵 B 


B= 
565 
A=[AB]% 将 B 转 置 后 ， 再 以 列 向 量 并 入 和 


上 区 是 油 泪 
SS 8 下 
9 1011 12 5 


A(,2)=[] % 删除 第 二 列 ， 符 号 “: ”代表 所 有 列 


1345 
汪 是 通 : 
和 二 也 泛 
A=[A;4321]% 加 入 第 四 行 
起 本 
末 全 洛 
迹 区 六 洁 
党 了 枢 到 当 
天 条 间 1 
A([1 4],3)=D% 删除 第 一 和 第 四 行 ， 符 号 “:” 代 表 所 有 行 





A= 
六 3 8 6 
8 天 也 六 
以 上 几 种 托 阵 处 理 的 方式 可 以 相互 者 加 使 用 ， 产 生 各 种 意 想不到 的 效果 。 在 MATLAB 中 ,每 一 
个 宅 阵 都 是 一 个 以 行为 主 的 阵列 ， 因 此 对 于 算 阵 元 素 的 存 取 ， 可 用 一 维 或 二 维 的 下 标 值 来 确定 。 如 
在 上 述 窍 阵 A 中 ， 位 于 第 二 列 、 第 三 行 的 元 素 可 写 为 A(2.3) 〈 二 维 索 引 ) 或 A(6) (一 维 索引 ， 即 
将 所 有 直行 进行 堆 秋 后 的 第 六 个 元 素 )。 


2.1.3 WMATLAB 绘图 函数 


在 利用 MATLAB 中 的 神经 网 络 工具 箱 创建 神经 网 络 时 ， 二 维 绘图 函数 plot 在 显示 神经 网 络 的 
训练 误差 和 网 络 的 输出 时 经 常用 到 。 其 基本 调用 格式 有 以 下 3 种 。 

1、 plot(x) 当 x 为 癌 量 时 ， 则 以 x 元 素 为 纵 坐 标 ， 以 相应 元 素 的 下 标 作为 横 坐 标 来 绘图 。 当 x 
为 实数 窃 阵 时 ， 则 按 列 绘制 每 列 元 素 值 相对 其 下 标的 连 线 图 ， 图 中 曲线 x 阵 的 列 数 。 

2、plot(x,y) 如 果 x、y 为 同 维 向 量 ， 则 绘制 以 x、y 为 横 纵 坐标 的 连 线 图 。 如 果 x 是 向 量 ，y 是 
一 个 与 x 同 维 的 窍 阵 ， 则 绘制 多 条 不 同色 彩 的 连 线 图 ， 连 线条 数 等 于 y 阵 的 另 一 维 数 。 如 果 x 和 y 
是 同 维 矩 阵 ， 则 以 x、y 对 应 元 素 为 横 纵 坐标 分 别 绘制 曲线 ， 则 线 的 条 数 等 于 算 阵 的 行 数 。 

3、 plot(x,ys) s 表示 线条 的 颜色 和 类 型 ， 如 s='r+， 表 示 各 点 是 由 红色 的 + 号 绘制 的 ， 如 果 没 有 
特别 说 明 ， 默 认 的 类 型 为 蓝 色 的 线条 。 

此 外 与 该 函数 联系 比较 密切 的 函数 还 有 hold on、hold of 和 figure, 前 两 者 用 于 在 同一 张 图 上 绘 
制 多 条 曲线 的 情况 ， 后 者 用 于 停止 绘制 铝 柄 ， 表 示 重 新 打开 一 张 较 长 进行 绘制 。 下 面 给 出 这 几 个 函 
数 的 一 个 综合 示例 ， 绘 制 三 条 余弦 曲线 ， 其 中 第 一 张 图 上 绘制 两 条 ， 在 第 二 张 图 上 绘制 一 条 。 

在 命令 行 窗口 或 在 编辑 调试 窗口 中 输入 代码 , 按 回 车 键 或 Run 命令 即 可 得 到 图 2-1-3 和 图 2-1-4 
所 示 结 果 。 完 整 的 MATLAB 代码 如 下 : 

% 横 坐标 变化 范围 为 -6 6]， 每 间隔 0.1 个 单位 绘制 一 次 

X=-6:0.1:6; 

yl1=cos(x); 

yY2=cos(24#X); 

yY3=cos(3#x); 

% 以 x、y 为 横 纵 坐 标 绘图 

plot(x,y1); 

% 保 存 绘图 句柄 ， 使 下 一 次 的 图 和 已 经 绘制 的 图 在 同一 张 图 上 ， 如 图 2-1-3 所 示 

hold on 

plot(x,y2,r+); 











% 关 闭 绘图 句柄 下 次 的 图 和 已 经 绘制 的 图 将 不 在 现 一 张 图 上 
hold of 

% 打 开 一 张 新 的 绘图 面 

Figure 

% 以 x、y 为 横 纵 坐 标 ， 以 蓝 色 的 “*” 绘 图 ， 如 图 2-1-4 所 示 
plot(Cx,y3,b*); 


Figure No,1 





图 2-1-3 sinx 和 sin2x 的 图 形 
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图 2-1-4 sin3x 的 图 


2.2 感知 器 神经 网 络 模型 与 学 习 算法 


2. 2. 1 单 层 感知 器 


感知 器 是 由 美国 学 者 Rosenblatt 在 1957 年 首次 提出 的 作为 有 导师 学 习 ( 即 有 监督 学 习 ) 的 神经 网 
络 模型 。 单 层 感知 器 是 指 包含 一 个 突 触 权 值 可 调 的 神经 元 的 感知 器 模型 , 它 的 学 习 算法 是 Rosenblatt 
在 1958 年 提出 的 。 感 知 器 是 神经 网 络 用 来 进行 模式 识别 的 一 种 最 简单 模型 , 属于 前 向 神经 网 络 类 型 ， 
但 是 仅 由 单个 神经 元 组 成 的 单 层 感知 器 只 能 用 来 实现 线性 可 分 的 两 类 模式 的 识别 。 

单 层 感知 器 模型 如 图 2-2-1 所 示 ， 它 包括 一 个 线性 的 紫 加 器 和 一 个 二 值 阔 值 元 件 ， 同 时 还 有 一 





个 外 部 偏差 & ， 也 称 作 阅 值 ， 其 值 可 以 为 正 ， 也 可 以 为 负 。 线 性 票 加 器 的 输出 与 偏差 和 的 和 作为 一 
值 阔 值 元 件 的 输入 ， 这 样 当 二 值 阔 值 元 件 的 输入 是 正 数 ， 神 经 元 就 产生 输出 +1， 反 之 ， 若 输入 是 负 
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数 ， 则 产生 输出 -1。 




















图 2-1 单 层 感 知 器 


使 用 单 层 感知 器 的 目的 就 是 让 其 对 外 部 输入 ，20?22 ”2 进行 识别 分 类 ， 单 层 感知 回 可 将 外 
部 输入 分 为 两 类 上 和 卢 。 当 感知 器 的 输出 为 +1 时 ， 输 入 za zx 属于 4 类 ， 当 感知 器 的 输出 为 


-1 时 ， 输 入 3 oo 属于 已 类 ， 从 而 实现 两 类 目标 的 识别 。 在 严 维 空间 ， 单 层 感知 器 进行 模式 
识别 的 判决 超 平面 由 下 式 决定 ; 


器 w+D=0 
加 ] 
在 图 2-2-2 中 给 出 了 一 种 具有 两 个 输入 下 交 和 关 时 的 判决 超 平面 的 情况 ， 它 的 判别 边界 是 直 


线 : 


Wi +wW +D=0 














网 3.> 两 关 凡 区 ML 风 天 定 问 是 


次 定 判别 边界 直线 形状 的 主要 参数 是 权 值 向 量 %i 和 ”> ， 选 择 合适 的 学 习 算法 可 训练 出 满意 的 






空间 中 ， 用 一 个 超 平面 将 两 类 样本 分 开 。 
FE 明 ， 对 线性 可 分 的 样本 ， 算 法 是 一 
导致 几 不 能 收敛。 


如 和 ? 史 5 ， 当 它 用 于 两 类 模式 的 分 类 时 ， 相 当 于 在 高 维 样本 
早 在 20 世纪 60 年 代 初 期 ，Rosenblatt 等 就 给 出 了 严格 的 数学 
定 收敛 的 ， 就 是 说 一 定 存在 ， 否 则 ， 判 别 边界 会 产生 振荡 ， 









2. 2. 2 单 层 感 知 器 的 学 习 算法 
单 层 感知 器 的 学 习 算法 是 基于 迭代 的 思想 ， 通 常 是 采用 误差 校正 学 习 规则 的 学 习 算法 。 为 方便 


起 见 ， 将 偏差 访 作 为 神经 元 突 触 权 值 向 量 的 第 一 个 分 量 加 到 权 值 向 量 中 去 ， 那 么 对 应 的 输入 向 晤 也 


应 增加 一 项 ， 可 设 输入 向 景 的 第 一 个 分 量 固 定 为 +1， 这 样 输入 向 量 和 权 值 向 晤 可 分 别 写成 如 下 的 形 
式 : 


如 =[+La (me( 阅 as(o 
(=[(Ow 人 (me( 站 as 人 
式 中 ， 叶 表示 移 代 次 数 ， 其 中 的 久 2) 可 用 W “四 表示 ， 则 二 值 闵 值 元 件 的 输入 可 重新 写 为 ; 


OO-w OOXO) 
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令 上 式 等 于 零 ， 即 W "CD = 0 ， 可 得 到 在 维 空间 的 单 层 感知 器 的 判别 超 平面 。 考 虑 输出 具 
有 一 个 神经 元 的 情况 ， 具 体 学 习 算法 如 下 : 

第 一 步 设置 变量 和 参量 

世 ( 同 于 (二 (站 (四 ] 为 输入 向 量 ， 也 可 以 看 成 是 训练 样本 。 

WwW(D) =[6(wi (mv 人 (] 为 权 值 向 量 。 


2 为 偏差 ， 信 ) 为 激活 函数 ,CD 为 网 络 实际 输出 ，d(XD 为 期 望 输出 ， 刀 为 学 习 速 率 ， 疡 为 
和 迭代 次 数 ，。 为 实际 输出 与 期 望 输出 的 误差。 
第 二 步 初始 化 给 权 值 向 量 W(0) 的 各 个 分 量 赋 一 个 较 小 的 随机 非 零 值 ， 置 怀 = 0 。 


第 三 步 输入 一 组 样本 习 ( 加 二 [2 二 (as (并 给 出 它 的 其 电 输 出 Cn 。 


J(OD = f 冯 wmso] 
第 四 步 计算 实际 输出 ， 


第 五 步 求 出 期 望 输出 和 实际 输出 求 出 误差 ，e= d0D) 一 (2 ， 根 据 误差 判断 目前 输出 是 大 满 
足 条 件 ， 若 满足 条 件 则 算法 结束 ， 和 否则 将 丑 值 增加 1， 并 用 下 式 调整 权 值 

w(a+D=w(I+7[d(-7(I]X() 

然后 转 到 第 三 步 ， 进 入 下 一 轮 计算 过 程 。 

注意 : 在 以 上 学 习 算法 的 第 五 步 需要 判断 是 否 满足 算法 结束 条 件 ， 算 法 结束 的 条 件 可 以 是 误差 
小 于 设 定 的 值 或 者 是 权 值 的 变化 已 很 小 。 另 外 ， 在 实现 过 程 中 还 应 设 定 最 大 的 迭代 次 数 ， 以 防止 
算法 不 收敛 时 ， 学 习 算法 进入 死 循环 。 

在 单 层 感知 器 学 习 算法 中 ， 最 关键 的 因素 是 引入 了 一 个 量化 的 期 望 输出 ， 这 样 就 可 以 采用 误差 
校正 学 习 规则 对 权 值 向 量 连 步 进行 修正 ， 最 终 达到 问题 所 需要 的 精度 。 

对 于 线性 可 分 的 两 类 模式 ， 可 以 证 明 单 层 感知 器 的 学 习 算 法 是 收 么 的 ， 即 通过 调整 神经 网 络 各 
连接 权 值 可 以 得 到 合适 的 判别 边界 ， 正 确 区 分 两 类 模式 ， 而 对 于 线性 不 可 分 的 两 类 模式 ， 无 法 用 一 
条 直线 区 分 两 类 模式 ， 此 时 ， 单 层 感知 器 的 学 习 算法 是 不 收 你 的 ， 即 单 层 感知 器 无 法 正确 区 分 线性 
不 可 分 的 两 类 模式 。 


汪 





2. 2. 3 单 层 感知 器 的 MATLAB 实现 


MATLAB 的 神经 网 络 工具 箱 中 为 单 层 感知 器 的 设计 、 训 练 和 学 习 等 提供 了 丰富 的 工具 函数 ， 因 



































篇 幅 的 原因 ， 只 给 出 与 本 书记 介绍 的 算法 有 关 的 工具 函数 ， 没 有 特别 说 明 的 话 ， 后 续 章节 也 遵循 此 
规定 。 与 算法 相关 的 感知 器 工具 函数 如 表 2-2-1 所 示 - 
表 2-2-1 MATLAB 中 单 层 感知 器 常用 工具 函数 名 称 和 基本 功能 
函数 名 功能 
newp() 生成 一 个 感知 器 
hardlimO) 硬 限 幅 激活 函数 
learnp() 感知 器 的 学 习 函 数 
train0) 神经 网 络 训练 函数 
sim(0) 神经 网 络 仿真 函数 
mae() 平均 绝对 误差 性 能 函数 
plotpv0) 在 坐标 图 上 绘 出 样本 点 
plotpe() 在 已 绘制 的 图 上 加 分 类 线 
下 面 将 对 表 2-2-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 实例 来 说 明 如 何 使 用 表 中 的 工具 





函数 建立 一 个 对 样本 进行 分 类 的 感知 器 神经 网 络 。 


1，Newp0 
功能 :创建 一 个 感知 器 神经 





络 的 函数 


调用 格式 : net = newp(PR，S，TF，LEF) 
说 明 : met 为 生成 的 感知 机 神经 网 络 ; PR 为 一 个 Rx2 的 矩阵 ， 由 组 输入 向 量 中 的 最 大 值 和 


最 小 值 组 成 ; S 表示 





元 的 个 数 ，TF 表示 感知 器 的 激活 函数 ， 缺 省 值 为 硬 限 幅 激活 函数 hardlim， 


LEF 表示 网 络 的 学 习 函 数 ， 缺 省 值 为 leamp。 


2，Hardlim0 
功能 : 硬 限 幅 激活 函数 
格式 : (D)A= hardlim(N) 


说 明 : 函数 hardlim(N) 在 给 定 网 络 的 输入 矢量 矩阵 N 时 ， 返 回 该 层 的 输出 矢量 托 阵 A。 当 N 中 
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的 元 素 大 于 等 于 零 时 ， 返 回 的 值 为 1， 知 则 为 0。 也 就 是 说 ， 如 果 网 络 的 输入 达到 阔 值 ， 则 硬 限 幅 传 
输 函 数 的 输出 为 1， 和 否则， 为 0。 

3 LearnpO 

功能 : 感知 机 的 权 值 和 阔 值 学 习 函 数 

格式 : (D [dW，LS] = leamp(W，P，Z，N，A，T，E，sgW，gA，D，LP，LS) 

(2) [db，LS] = leamp(b，ones(1，Q)，Z，N，A，T，E，gW，gA，D，LP，LS) 

说 明 : dW 为 权 值 变化 矩阵 ， LS 为 当前 学 习 状 态 ; W 为 SxR 的 权 值 矩阵 (可 省 略 ); P 为 RxQ 
的 输入 向 量 矩 阵 ， Z 为 Sx Q 的 输入 层 的 权 值 矩 阵 (可 省 略 ); N 为 Sx Q 的 网 络 输入 矩阵 (可 省 略 ); 
A 为 SxQ 的 输出 矩阵 (可 省 略 ); T 为 SxQ 的 目标 输出 矩阵 (可 省 略 ); E 为 误差 癌 量 (E=TY)，T 表 
示 网 络 的 目标 向 量 (可 省 略 ); Y 表示 网 络 的 实际 输出 向 量 (可 省 略 ); gW 为 SxR 的 与 性 能 相关 的 权 
值 梯度 算 阵 (可 省 略 );， gA 为 Sx Q 的 与 性 能 相关 的 输出 梯度 值 矩 阵 (可 省 略 ); D 为 Sx S 的 神经 元 距 
离 矩 阵 (可 省 略 ); LP 为 学 习 参 数 (可 省 略 ); LS 学 习 函 数 声明 (可 省 略 ); b 为 Sx 1 的 阔 值 矢量 ; ones(1， 
Q) 为 1x Q 的 全 为 1 的 向 量 。 

3， Train0 

功能 :神经 网 络 训练 函数 

格式 : [net，tr，Y，E，Pf，Afl = train(NET，P，T，Pi，Ai，VV，TV) 

说 明 : 式 中 ，net 为 训练 后 的 网 络 ; tr 为 训练 记录 ; Y 为 网 络 输出 矢量 ; E 为 误差 矢量 ，Pf 为 训 
练 终 止 时 的 输入 延迟 状态 :， Af 为 训练 终止 时 的 层 延迟 状态 , NET 为 训练 前 的 网 络 ; P 为 网 络 的 输入 
向 量 矩 阵 ，T 表示 网 络 的 目标 矩阵 ， 缺 省 值 为 0，Pi 表示 初始 输入 延 时 ， 缺 省 值 为 0，Ai 表示 初始 
的 层 延 时 ， 缺 省 值 为 0 VV 为 验证 矢量 〈 可 省 略 );， TV 为 测试 矢量 〈 可 省 略 )。 网 络 训练 函数 是 
一 种 通用 的 学 习 函 数 ， 训 练 函数 重复 地 把 一 组 输入 向 量 应 用 到 一 个 网 络 上 ， 每 次 都 更 新 网 络 ， 直 到 
达到 了 某 种 准则 ， 停 止 准则 可 能 是 达到 最 大 的 学 习 步 数 、 最 小 的 误差 梯度 或 误差 目标 等 。 

4，Sim0 

功能 ， 对 网 络 进行 仿真 

格式 : (D) [Y，Pf，Af，E，perf] = sim(NET，P，Pi，Ai，T) 

(2) [Y，Pf，Af，E，perf] = sim(NET，{fQTS}，Pi，Ai，T) 
(G3) [Y，Pf，Af，E，perf] = sim(NET，Q，Pi，Ai，T) 

说 明 : 式 中 Y 为 网 络 的 输出 : Pf 表示 最 终 的 输入 延 时 状态 : Af 表示 最 终 的 层 延 时 状态 ，E 为 
实际 输出 与 目标 矢量 之 间 的 误差 ，perf 为 网 络 的 性 能 值 ， NET 为 要 测试 的 网 络 对 象 ，P 为 网 络 的 输 
入 向 量 矩 阵 ，Pi 为 初始 的 输入 延 时 状态 〈 可 省 略 ); Ai 为 初始 的 层 延 时 状态 〈 可 省 略 ); T 为 目标 矢 
量 〈 可 省 略 )。 式 (D)、(2) 用 于 没有 输入 的 网 络 ， 其 中 Q 为 批 处 理 数 据 的 个 数 ，TS 为 网 络 仿真 的 时 间 

S.，、 Mae0 

功能 : 平均 绝对 误差 性 能 函数 
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格式 : (1) perf=mae(E，w，pp) 

说 明 : perf 表示 平均 绝对 误差 和 ， E 为 误差 矩阵 或 向 量 (网 络 的 目标 向 量 与 输出 向 量 之 差 )， ww 
为 所 有 权 值 和 偏 值 向 量 (可 忽略 )， pp 为 性 能 参数 (可 忽略 )。 
6.Plotpv0 

功能 : 绘制 样本 点 的 函数 

格式 : (D plotpvP，T) 

(2) plotpvP，T，V) 

说 明 : 式 中 ，P 定 义 了 n 个 2 或 3 维 的 样本 ， 是 一 个 2xn 维 或 3xn 维 的 矩阵 ，T 表示 各 样本 
点 的 类 别 ， 是 一 个 nm 维 的 向 量 ，V=[x_min x_max y_min y_max]， 为 一 设置 绘图 坐标 值 范围 的 向 量 。 
利用 plotpv0) 函 数 可 在 坐标 图 中 绘 出 给 定 的 样本 点 及 其 类 别 ， 不 同 的 类 别 使 用 不 同 的 符号 。 如 果 T 
只 会 一 元 矢量 ， 则 目标 为 0 的 输入 矢量 在 坐标 图 中 用 符号 “o” 表 示 : ”目标 为 1 的 输入 矢量 在 坐标 
图 中 用 符号 “+” 表 示 。 如 果 T 含 二 元 矢量 ， 则 输入 矢量 在 坐标 图 中 扩 采 用 的 符号 分 别 如 下 : [0 0] 
用 “oo” 表 示 ; [04] 用 “+” 表 示 : [1 0] 用 “*” 表 示 ;， [11] 用 “x ”表示 。 
7.Plotpe0 

功能 : 在 存在 的 图 上 绘制 出 感知 器 的 分 类 线 函数 

格式 : (ID) plotpc(W，B) 

(2) plotpc(W，B，H) 

说 明 : 硬 特性 神经 元 可 将 输入 空间 用 一 条 直线 (如 果 神 经 元 有 两 个 输入 )， 或 用 一 个 平面 (如 果 神 
经 元 有 三 个 输入 )， 或 用 一 个 超 平面 (如 果 神 : 三 个 以 上 输入 ) 分 成 两 个 区 域 。plotpc(w，b) 对 含 权 
矩阵 w 和 偏差 矢量 b 的 硬 特性 神经 元 的 两 个 或 三 个 输入 画 一 个 分 类 线 一 函数 返回 分 类 线 的 句柄 
以 便 以 后 调用 。plotpe(W，B，H) 包 含 从 前 的 一 次 调用 中 返回 的 句柄 。 它 在 画 新 分 类 线 之 前 ， 删 除 旧 
线 。 

使 用 MATLAB 实现 神经 网 络 的 步骤 如 下 : 

第 一 步 根据 应 用 创建 一 个 神经 网 络 ; 

第 二 步 设 定神 经 网 络 的 训练 参数 ， 利 用 给 定 样本 对 创建 的 神经 网 络 进行 训练 ; 

第 三 步 输入 测试 数据 ， 测 试 训练 好 的 神经 网 络 的 性 能 ; 

下 面 的 例子 2-1 是 一 个 根据 神经 网 络 MATLAB 实现 的 步骤 ， 并 使 用 上 面 介绍 的 感知 器 神经 网 
络 的 MATLAB 工具 函数 ， 建 立 一 个 感知 器 神经 网 络 ， 设 定 训练 参数 ， 然 后 使 用 样本 数据 对 网 络 进 
行 训练 ， 训 练 过程 是 通过 感知 器 的 学 习 算 法 调整 权 值 和 阔 值 ， 直 到 达到 预先 设置 的 训练 要 求 为 止 ， 
同时 给 出 训练 后 的 感知 器 的 性 能 ， 最 后 使 用 测试 数据 对 训练 好 的 神经 网 络 进行 测试 ， 并 给 出 测试 的 

例子 2-1 从 待 分 类 的 数据 中 取出 一 部 分 数据 及 其 对 应 的 类 别 做 为 样本 数据 ， 设 计 并 训练 一 个 能 
对 待 分 类 数据 进行 分 类 的 单 层 感知 器 神经 网 络 。 

感知 器 神经 网 络 的 MATLAB 代码 如 下 : 











% 给 定 训练 样本 数据 

了 P= [-0.4 -0.5 0.6; 0.9 0 0.1]; 

% 给 定 样本 数据 所 对 应 的 类 别 ， 用 1 和 0 来 表示 两 种 类 别 
T=[110]; 
%% 创 建 一 个 有 两 个 输入 、 样 本 数据 的 取 值 范围 都 在 [-1，]1] 之 间 ， 并 且 网 络 只 有 一 个 神经 元 的 感 
% 知 器 神经 网 络 

net=newp([-1 1:-1 1],D; 

吧 设 置 网 络 的 最 大 训练 次 数 为 20 次 ， 即 训练 20 次 后 结束 训练 

nettrainParam.epochs = 20; 

% 使 用 训练 函数 对 创建 的 网 络 进行 训练 

net=train(nebP,T); 

% 对 训练 后 的 网 络 进行 仿真 ， 即 根据 训练 后 的 网 络 和 样本 数据 给 出 输出 

Y=sim(nebP) 

% 计 算 网 络 的 平均 绝对 误差 ， 表 示 网 络 错误 分 类 

El=mae(Y-T) 

% 给 定 测试 数据 ， 检 测 训练 好 的 神经 网 络 的 性 能 

Q=[0.6 0.9 -0.1; -0.1 -0.5 0.5]; 

%% 使 用 测试 数据 ， 对 网 络 进行 仿真 ， 仿 真 输出 即 为 分 类 的 结果 

Yl=simnetQ) 

% 创 建 一 个 新 的 绘图 窗口 





人 figure; 
% 在 坐标 图 中 绘制 测试 数据 点 ， 并 根据 数据 所 对 应 的 类 别 用 约定 的 符号 丁 出 
plotpv(QYT); 


% 在 坐标 图 中 绘制 分 类 线 
plotpcnetiw{fljnetbfl) 


运行 后 得 到 图 2-2-3 和 图 2-2-4， 在 命令 行 窗口 中 得 到 的 结果 如 下 : 

% 使 用 TRAINC 作为 神经 网 络 的 训练 函数 ， 第 0 次 训练 ， 最 大 训练 次 数 为 20 
>> TRAINC, Epoch 0/20 

TRAINC, Epoch 3/20 

% 达 到 目标 误差 要 求 ， 结 束 训练 

TRAINC, Performance goal met. 


立 = 





0 0 芝 
由 图 2-2-3 和 命令 行 窗口 中 的 数据 可 知 ， 网 络 的 训练 过 程 上 只 经 过 3 次 ， 就 达到 了 目标 性 能 要 求 ， 
网 络 的 平均 绝对 误差 已 经 为 0， 从 图 2-2-4 中 的 分 类 线 和 命令 行 窗口 中 的 YI= 0 0 1 可 
以 看 出 创建 的 感知 器 网 络 成 功 地 将 测试 数据 分 为 两 类 。 


Training with TRAINC 





2-2-3 





Figure No.1 





图 2-2-4 
2. 2. 4 多 层 感知 机 


前 面 介绍 了 单 层 感知 器 ， 它 最 大 的 缺点 是 只 能 解决 线性 可 分 的 分 类 模式 问题 ， 要 增强 网 络 的 分 
类 能 力 唯 一 的 方法 是 采用 多 层 网 络 结构 ， 即 在 输入 层 与 输出 层 之 间 增 加 一 个 隐 含 层 ， 从 而 构成 多 层 
感知 器 (Multilayer Perceprons ，MLP)。 这 种 由 输入 层 、 隐 含 层 (可 以 是 一 层 或 者 多 层 ) 和 输出 层 构成 
的 神经 网 络 称 为 多 层 前 向 神经 网 络 。 

多 层 感知 器 是 对 单 层 感知 器 的 推广 ， 它 能 够 成 功 解决 单 层 感知 器 所 不 能 解决 的 非 线性 可 分 问 
题 。 其 拓扑 结构 如 图 2-2-5 所 示 。 
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2.3 


输入 层 神经 元 的 个 数 等 于 输入 信号 的 个 数 ， 隐 含 层 个 数 以 及 隐 含 层 结 点 的 个 数 则 视 具体 情况 而 
定 ， 输 出 层 神经 元 的 个 数 为 输出 信号 的 个 数 。 
多 层 感知 器 同 单 层 感知 器 相 比 具有 四 个 明显 的 特点 
1) 多 层 感知 器 含有 一 层 或 多 层 隐 单 元 隐 单 元 从 输入 模式 中 获得 了 更 多 有 用 的 信息 , 使 网 络 可 以 
完成 更 复杂 的 任务 。 
2) 多 层 感知 器 中 每 个 神经 元 的 激活 函数 采用 可 微 的 函数 ， 如 ，sigmoid 函数 : 
1 
Re 
”1+e(-) 
式 中 竺 是 第 ;个 神经 元 的 输入 信号 ， 忆 是 该 神经 元 的 输出 信号 。 
3) 多 层 感知 器 的 多 个 突 触 使 得 网 络 更 具 连通 性 ， 连 接 域 的 变化 以 及 连接 权 值 的 变化 都 会 引起 连 
通 性 的 变化 。 
4) 多 层 感知 器 具有 独特 的 学 习 算法 ， 该 学 习 算 法 就 是 著名 的 BP 算法 ,因此 使 用 BP 算法 的 神经 
网 络 也 常常 被 称 为 BP 网 络 。 
多 层 感知 器 所 具有 的 这 些 特点 ， 使 得 它 具有 强大 的 计算 能 力 从 而 成 为 一 种 广泛 使 用 的 神经 网 
络 。 关 于 多 层 感知 器 的 学 习 算法 即 BP 算法 ， 将 在 2.3 节 中 详细 介绍 。 
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2.3 线性 神经 网 络 模型 与 学 习 算法 





性 神经 网 络 类 似 于 感知 器 ， 但 是 线性 神经 网 络 的 激活 函数 是 线性 的 ， 而 不 是 硬 限 转移 函数 。 
性 神经 网 络 的 输出 可 以 是 任意 值 ， 而 感知 器 的 输出 不 是 0 就 是 1。 线 性 神经 网 络 和 感知 器 
一 样 只 能 求解 线性 可 分 的 问题 。 因 此 ， 线 性 神经 网 络 的 限制 和 感知 器 相同 。 





2. 3. 1 线性 神经 元 网 络 模型 


1. 线 性 神经 元 模型 
具 且 个 输入 的 线性 神经 元 如 图 2-3-1 所 示 。 线 性 神经 元 与 感知 器 神经 元 具有 相似 的 结构 ， 唯 


一 的 不 同 是 线性 神经 元 使 用 了 线性 传递 函数 Parelin ， 因 此 与 感知 器 神经 网 络 不 同 ， 线 性 神经 网 络 的 
输出 可 以 取 任 意 值 ， 而 不 像 感知 器 神经 网 络 的 输出 只 能 是 0 或 1， 它 的 形状 如 图 2-3-2 所 示 。 


Na 
4 四 人 


2 


图 2-4 线性 神经 元 模型 





户 























J=purelin(wp 十 力 








-parelin rv) 
图 2-5 线性 传 弟 函 数 


线性 神经 元 的 输出 可 以 由 以 下 公式 计算 : 
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y=purelin(v)=purelin(wp+D)=wp+ 
现在 ， 考 虑 一 个 具有 两 个 输入 的 线性 神经 元 ， 如 图 2-6 所 示 ， 网 络 的 输出 为 


了 二 Wi 局 十 WP 十 


类 似 于 感知 器 神经 网 络 ， 它 也 可 以 区 分 两 类 输入 向 量 。 当 输出 了 等 于 0 时 ， 可 以 画 出 它们 的 分 
界线 ， 如 图 2-3-3 所 示 -。 


及 as 
忆 1 


图 2-6 双 输 入 线性 神经 元 





已 二 一 | 一 一 
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J=purelin(wp 二 思 








图 2-7 输入 向 量 分 类 结果 


位 于 分 界线 上 面 的 输入 向 量 能 够 产生 大 于 0 的 网 络 输出 ， 位 于 分 界线 下 面 的 输入 向 量 则 产生 小 
于 0 的 网 络 输出 。 因 此 线性 神经 元 只 能 积 近 一 个 线性 函数 ， 而 不 能 完成 逼近 非 线性 函数 的 计算 ， 其 
局 限 性 与 感知 器 神经 网 络 相同 。 

2. 线 性 神经 网 络 的 结构 


图 2.3-4 显示 了 单 层 线性 神经 网 络 的 结构 ,其 中 网 络 具有 尺 个 输入 , 8 个 神经 元 , 并 通过 权 值 


项 


连接 ， 下 标 z 和 7 表示 权 值 "连接 着 第 了 个 神经 元 和 第 ;个 输入 ， 通 过 网 络 后 产生 S 个 输出 。 
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J=purelin(wp + 站) 
图 2-8 线性 神经 网 络 结构 


2. 3. 2 线性 神经 网 络 的 学 习 算法 


线性 神经 网 络 采取 的 学 习 规 则 是 Widrow-Hoff 学 习 规 则 , 又 称 为 最 小 均 方 误 差 LMS(Least Mean 
Square Error) 学 习 算 法 ， 它 是 基于 负 梯 度 下 降 的 原则 来 减 小 网 络 的 训练 误差 。 最 小 均 方 误 差 学 习 算 


法 也 属于 监督 类 学 习 算法 。 令 BID, Po 表示 网 络 的 输入 向 量 ， 


一 他 (0 人 (0 -表示 网 络 的 期 户 答 出 向 量 ，3 一 OO,2a(0…”- 。 表 示 网 络 的 


实际 输出 向 量 。 其 中 在 = 上 2… 。 ， 表 示 输入 向 量 与 对 应 的 期 望 输出 向 量 样本 对 的 数量 ， 计 算出 实 
际 输出 向 量 与 相应 的 期 望 输出 向 量 的 误差 ， 并 且 依据 误差 来 调整 网 络 的 权 值 和 赣 值 ， 使 该 误差 逐渐 
减 小 。LMS 学 习 规则 就 是 要 减 小 这 些 误差 平方 和 的 均值 ， 定 义 如 下 : 
1 所 ， 1 忆 2 
= 一 “( 丰 ) = 一 Gd( 昌 -YED)) 
mase 二 有 打包 (D-7CD) 
从 最 小 均 方 误差 的 定义 可 以 看 出 , 它 的 性 能 指标 是 一 个 二 次 方程 , 所 以 它 要 么 具有 全 局 最 小 值 ， 
要 么 没有 最 小 值 ， 而 选择 什么 样 的 输入 向 量 恰恰 会 决定 网 络 的 性 能 指标 会 有 什么 样 的 最 小 值 。 
如 果 考 虑 第 大 次 循环 时 训练 误差 的 平方 对 网 络 权 值 和 阔 值 的 二 阶 偏 微分 ， 会 得 到 公式 : 
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其 中 =12，… 


再 计算 此 时 的 训练 误差 对 网 络 权 值 和 阔 值 的 一 阶 偏 微分 ， 


ae( 虽 _ald(O)->(D] 
anw'， Di 


帮 





=- 芭 [z00-(wp(O+O 
或 者 


2 罗 - 训 | oo-( 二 so 7=12. 


其 中 户 (6) 表 示 第 大 次 循环 中 的 第 i 个 输入 向 量 。 则 有 


ce( 介 
my 


妆 


= 一 己 () 


ae 
友 
那么 根据 负 梯度 下 降 的 原则 ， 网 络 权 值 和 赣 值 的 改变 量 应 该 是 20e(4)P(t) 和 27e( 避 ) 
所 以 网 络 权 值 和 阅 值 修正 公式 如 下 


w+D= w+27e(b)p 
PE+D=pD+27e() 


式 中 ， 尹 是 学 习 率 。 当 取 较 大 值 时 ， 可 以 加 快 网 络 的 训练 速度 ， 但 是 如 果 的 值 太 大 ， 会 导 


致 网 络 稳定 性 的 降低 和 训练 误差 的 增加 。 记 以 ， 为 了 保证 网 络 进行 稳定 的 训练 ， 学 习 率 刀 的 值 必须 


32 





选择 一 个 合适 的 值 。 
重复 以 上 求解 过 程 ， 直 到 达到 预定 的 精度 ， 算 法 结束 。 





2. 3. 3 线性 神经 网 络 的 MATLAB 实现 


MATLAB 神经 网 络 工具 箱 中 提供 的 与 算法 相关 的 线性 神经 网 络 相关 的 工具 箱 函数 ， 如 表 2-3-1 
所 示 。 在 MATLAB 的 命令 行 窗 口中 输入 “help linnet"， 便 可 得 到 与 线性 网 络 相关 的 所 有 函数 ， 进 一 
步 利用 help 命令 又 能 得 到 相关 函数 的 详细 介绍 

表 2-3-1 MATLAB 提供 的 线性 神经 网 络 的 常用 函数 和 基本 功能 表 

















函数 名 功能 

mewlin() 新 建 一 个 线性 层 
learnwh() Widrow-Hofr 的 学 习 函 数 
purelin() 线性 传输 函数 

mse() 最 小 均 方 误 美 性 能 函数 














下 面 将 对 表 2-3-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 实例 来 说 明 如 何 使 用 表 中 的 工具 
函数 建立 一 个 线性 神经 网 络 。 

1. Newiin0) 

功能 :新 建 一 个 线性 神经 网 络 函 数 。 

格式 ; (1D) net = newlin 

(2) net= newlin(PR，S，ID，LR) 

说 明 : 式 (D) 返 回 一 个 没有 定义 结构 的 空 对象， 并 显示 图 形 用 户 界 面 函 数 nntool 的 帮助 文字 ;: 式 
(2) 中 net 为 生成 的 线性 神经 网 络 ;PR 为 网 络 输入 向 量 中 的 最 大 值 和 最 小 值 组 成 的 矩阵 [Pmin, Pmax]; 
S 为 输出 向量 的 个 数 ，ID 为 输入 延 时 间 量 〈 可 省 略 ); LR 为 学 习 速 率 〈 可 省 略 )， 默 认 值 为 0.01。 
线性 神经 网 络 主要 用 于 自 适应 滤波 器 设计 和 信号 预测 ， 该 网 络 由 一 层 神经 元 组 成 ， 神 经 元 的 加 权 函 
数 为 dotprod， 输 入 函数 为 netsum， 传 递 函数 为 purelin， 神 经 元 的 权 值 和 效 值 初始 化 函数 为 initzero， 
自 适应 调整 函数 为 rains， 训 练 函数 为 rainb， 它 们 都 使 用 学 习 函 数 learnwh 对 权 值 和 赣 值 进行 调整 ， 
性 能 函数 为 mse。 

2. Learnwh( ) 

功能 : ”线性 神经 网 络 学 习 函 数 
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格式 : (D [dWILS] = learmmwh(WPZN,A,TE,sgW,gA,D,LPLS) 

(2) [db,LS] = leamwh(b,ones(1,Q),Z,N,A,TE,gW,gA,D,LPLS) 

说 明 :” 式 中 ，dW 为 权 值 变化 矩阵 ，LS 为 阔 值 变化 阵 ，W 为 SxR 的 权 值 算 阵 (可 省 略 ): P 为 
RxQ 的 输入 向 量 和 矩阵 或 者 为 1x Q 的 全 为 1 的 向 量 ;: Z 为 Sx Q 的 输入 层 的 权 值 定 阵 (可 省 略 ); N 
为 SxQ 的 网 络 输入 托 阵 (可 省 略 ); A 为 Sx Q 的 输出 矩阵 (可 省 略 ); T 为 Sx Q 的 目标 输出 算 阵 (可 
省 略 ); E 为 误差 问 量 (E=TY),T 表 示 网 络 的 目标 向量 (可 省 略 ); Y 表示 网 络 的 实际 输出 向 量 (可 省 略 ); 
gW 为 SxR 的 与 性 能 相关 的 权重 梯度 矩阵 (可 省 略 );gA 为 Sx Q 的 与 性 能 相关 的 输出 梯度 值 定 阵 (可 
省 略 ); D 为 Sx SS 的 神经 元 距离 矩阵 (可 省 略 ): LP 为 学 习 参 数 (可 省 略 );， LS 学 习 函 数 声明 (可 省 略 )。 

learnwh(O 是 利用 Widrow-hoff 规则 对 网 络 的 权 值 和 冰 值 进行 学 习 ， 该 函数 多 用 于 线性 网 络 。 
Widrow-Hoff 规则 只 能 训练 单 层 的 线性 神经 网 络 ， 但 这 并 不 影响 单 层 线性 神经 网 络 的 应 用 ， 因 
为 对 每 一 个 多 层 线性 神经 网 络 而 言 ， 都 可 以 设计 出 一 个 性 能 完全 相当 的 单 层 线性 神经 网 络 

3，Purelin0 
功能 ， 纯 线性 传输 函数 

格式 A= purelin(N) 

说 明 ; 函数 purelin(N) 为 返回 网 络 输入 向 量 N 的 输出 矩阵 a; 神经 
从 神经 元 输入 到 输出 的 线性 传输 函数 ， 输 出 仅仅 被 神经 元 扩 附加 的 偏差 
函数 建立 的 网 络 都 可 以 用 该 函数 做 为 传递 函数 。 

4， mse0 

功能 : 均 方 误差 性 能 函数 

格式 : (1D) perf=mae(E，w，pp) 

说 明 : perf 表示 均 方 误差 ， E 为 误差 矩阵 或 向 量 (网 络 的 目标 向 量 与 输出 向 量 之 差 )， w 为 所 有 
权 值 和 偏 值 向 量 ( 可 忽略 )， pp 为 性 能 参数 (可 忽略 )。 

例子 2-2 要 求 设计 一 个 线性 神经 网 络 ， 寻 找 给 定数 据 之 间 的 线性 关系 。 

了 P=[1.1 -1.3]; 

T=[0.6 1]; 

%% 创 建 一 个 只 有 一 个 输出 ， 输 入 延 时 为 0， 学 习 速率 为 0.01 的 线性 神经 网 络 ，minmax(P) 表 示 样 

% 本 数据 的 取 值 范围 

net=newlin(minmax(P),1.0.0.01): 

% 对 创建 的 线性 神经 网 络 进行 初始 化 ， 设 置 权 值 和 闭 值 的 初始 值 

net=init(net); 

net.trainParam.epochs=500; 

% 设 置 网 络 训练 后 的 目标 误差 为 0.0001 

nettrainParam.goal=0.0001; 

nettrain(nebP,T); 

















简单 的 传输 函数 是 简单 地 


修正 ，newlin 和 newlind 















Y=sim(nebP) 

%% 求 解 网 络 的 均 方 误差 值 

E=mse(y-T) 

运行 后 得 到 图 2-3-5， 在 命令 行 窗口 中 得 到 的 结果 如 下 : 
% 使 用 TRAINB 作为 训练 函数 ， 最 大 训练 次 数 为 500， 开 始 训练 时 的 均 方 误差 值 为 0.68， 
吧 目标 误 差 为 0.0001 

>> TRAINB, Epoch 0/500, MSE 0.68/0.0001. 

TRAINB, Epoch 25/500, MSE 0.230041/0.0001. 
TRAINB, Epoch 50/500, MSE 0.0804376/0.0001. 
TRAINB, Epoch 75/500, MSE 0.0287728/0.0001. 
TRAINB, Epoch 100/500, MSE 0.0104466/0.0001. 
TRAINB, Epoch 125/500, MSE 0.00382901/0.0001. 
TRAINB, Epoch 150/500, MSE 0.00141177/0.0001. 
TRAINB, Epoch 175/500, MSE 0.000522418/0.0001. 
TRAINB, Epoch 200/500, MSE 0.000193748/0.0001. 
TRAINB, Epoch 217/500, MSE 9.87777e-005/0.0001. 

%% 训 练 到 217 次 时 ， 达 到 目标 误 结束 训练 
TRAINB, Performance goal met. 











也 三 
0.5883 0.9922 
E= 
9.8778e-005 
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Ele Edt Yew Jnsert IToos Window Hep 


109 Performance is 9.87777e-005, Goalis 0.0001 





Training-Blue Goal-Black 








0 50 100 150 200 


Stop Training ] 217 Epochs 





图 2-5 
由 图 2-3-5 和 命令 行 窗口 中 的 数据 可 知 ， 网 络 的 训练 经 过 217 次 后 ， 达 到 了 预定 的 目标 性 能 要 
求 ， 网 络 的 均 方 误差 值 已 经 为 0.0001。 


2.4 BP 神经 网 络 模型 与 学 习 算 法 


在 前 面 介 绍 的 感知 器 和 线性 神经 网 络 的 学 习 算法 中 ， 理 想 输出 与 实际 输出 之 差 被 用 来 估计 神经 
元 连接 权 值 的 误差 。 当 为 解决 线性 不 可 分 问题 而 引入 多 级 网 络 后 ， 如 何 估计 网 络 隐 含 层 神经 元 的 误 
差 就 成 了 一 大 难题 。 因 为 在 实际 中 ， 无 法 知道 隐 含 层 的 任何 神经 元 的 理想 输出 值 。Rumelhart, 
MecCielland 和 他 们 的 同事 们 洞察 到 了 神经 网 络 信息 处 理 的 重要 性 ， 并 于 1982 年 成 立 了 一 个 PDP 小 
组 ， 研 究 并 行 分 布 式 信息 处 理 方法 ， 探 索 人 类 认 知 的 微 结构 。1985 年 他 们 提出 了 BP 网 络 的 误差 反 
向 后 传 BP(Back Propagation) 学 习 算法 ， 实 现 了 Minsky 设想 的 多 层 神 经 网 络 模型 。 

BP(Back Propagation) 算 法 在 于 利用 输出 后 的 误差 来 估计 输出 层 的 直接 前 导 层 的 误差 ， 再 用 这 个 
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误差 估计 更 前 一 层 的 误差 ， 如 此 一 层 一 层 的 反 传 下 去 ， 就 获得 了 亡 有 其 它 各 层 的 误差 估计 。 这 样 就 
形成 了 将 输出 层 表现 出 的 误差 沿 着 与 输入 传送 相反 的 方向 逐 级 向 网 络 的 输入 层 传递 的 过 程 。 因 此 ， 
人 们 特 将 此 算法 称 为 误差 反 向 后 传 算法 ,简称 BP 算法 。 使 用 BP 算法 进行 学 习 的 多 级 非 循环 网 络 称 
为 BP 网 络 ， 属 于 前 向 神经 网 络 类 型 。 虽 然 这 种 误差 估计 本 身 的 精度 会 随 着 误差 本 身 的 “向 后 传播 ” 
而 不 断 降 低 ， 但 它 还 是 给 多 层 网 络 的 训练 提供 了 比较 有 效 的 办 法 ， 加 之 多 层 前 向 神经 网 络 能 逼近 任 
意 非 线 性 函数 ， 在 科学 技术 领域 中 有 广泛 的 应 用 ， 所 以 ， 多 年 来 该 算法 一 直 受 到 人 们 广泛 的 关注 。 











2. 4. 1BP 神经 网 络 模型 


与 一 般 的 人 工 神经 网 络 一 样 , 构成 BP 网 络 的 神经 元 仍然 是 神经 元 。 其 网 络 模型 如 图 2-4-1 所 示 














按照 BP 算法 的 要 求 ， 这 些 神经 元 所 用 的 激活 函数 必须 是 处 处 可 导 的 。 一 般 都 使 用 型 函数 。 
对 一 个 神经 元 来 说 ， 它 的 网 络 输入 可 表示 为 


Tet 一 为 全 十 和 21 信 十 十 区 1 


其 中 ，39222”” “为 该 神经 元 所 接受 的 输入 ，Ww% ”分别 是 它们 对 应 的 连 联接 权 值 。 
该 神经 元 的 输出 为 : 


JE 
1+ 


本 


其 相应 的 图 像 如 图 2-4-2 所 示 。 当 net=0 时 ， 了 取 值 为 05， 并 且 net 落 在 区 间 (-0.6，0.6) 中 时 ， 


了 的 变化 率 较 大， 而 在 〈-1，1) 之 外 ， 了 的 变化 率 就 非常 小 - 
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现 求 了 关于 net 的 导数 : 


ef 


ef" _ t+e“ 一 | 1 1 


frzeD) = SA ER 
(L+em) (1+en” 1+em (1+ter 人 7 





=YyY- 呈 =y(-y) 


1 = lm 1 =0 
注意 到 ，"ent” 1+e waGTe7 








根据 $ 型 激活 函数 可 知 ， 了 的 值 域 为 (0，1)， 从 而 ， 人 ae 的 值 域 为 (6，0.25)， 而 且 是 在 了 为 
0.5 时 ， 人 wei) 达到 极 大 值 ， 如 图 2-4-3 所 示 。 


由 图 2-4-2、 图 2-4-3， 可 以 看 出 ， 对 神经 网 络 进行 训练 ， 应 该 将 met 的 值 尽 量 控制 在 收敛 比 较 


快 的 范围 内 。 实 际 上 ， 也 可 以 用 其 它 函数 作为 BP 网 络 神经 元 的 激活 函数 ， 只 要 该 函数 满足 处 处 可 
导 的 条 件 即 可 。 












2-10 S 2-11 1 (nel) 


2.4.2 BP 网 络 的 标准 学 习 算法 


本 节 以 典型 的 三 层 BP 网 络 为 例 ， 描 述 标准 的 BP 算法 。 标 准 BP 算法 是 基于 梯度 下 降 法 的 学 习 
算法 ， 学 习 过 程 是 通过 调整 权 值 和 阔 值 ， 使 输出 期 望 值 和 神经 网 络 实际 输出 值 的 均 方 误差 趋 于 最 小 
而 实现 的 ， 但 是 它 只 用 到 均 方 误差 函数 对 权 值 和 效 值 的 一 阶 导数 〈 梯 度 ) 的 信息 ， 使 得 算法 存在 收 
笋 速度 缓慢 、 易 陷入 局 部 极 小 等 缺陷 。 

为 了 算法 描述 的 方便 ， 先 定义 下 面向 量 和 变量 : 
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输入 向 量 一 (6 


陷 信 层 输 入 向 量 班 一 (as 


隐 售 层 输 出 向 量 he 一 (popoo 
输出 层 答 入 向 量 殖 一 (2 
输出 层 输 出 向 最 yo 一 (Javao 昌 
期 晶 输 出 向 最 (aa 和 
输入 层 与 中 间 层 的 连接 权 值 "wu ; 
隐 含 层 与 输出 层 的 连接 权 值 %o ; 
隐 合 层 各 神经 元 的 阅 值 名 ; 
输出 层 各 神经 元 的 阅 值 久 ; 

样本 数据 个 数 天 = 2… 


激活 函数 依 ) 。 
BP 标准 算法 具体 实现 步骤 如 下 : 


1 网 络 初始 化 给 Wi 、Wie 、 名 和 乌 分 别 冉 一 个 区 间 〈-1，1) 内 的 随机 数 ， 设 定 误差 函数 


em 


时 ， 给 定 计算 精度 值 2 和 最 大 学 习 次 数 M 。 


2 随机 选取 第 上 个 输入 样本 xD=(5(De(D… 
d0DO=(d(0,d(D… 


“及 对 应 的 期 望 输出 
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3 .计算 隐 含 层 各 神经 元 的 输入 馈 (k ， 然 后 用 各 (kt) 和 激活 函数 计算 隐 含 层 各 神经 元 的 输出 
jpoi(D 


硕 (= 交 wx(D- 访 =12… 
jio( 昌 =fRMi(D) =12… 
JJ = 六 wpho 二 o=12… 

用 


ou(D=fOiCD) oo=12… 
4 利用 网 络 期 望 输 出 问 量 BD (40D,da( 网 络 的 实际 输出 Yov(k) ,计算 误 关 
函数 对 输出 层 的 各 神经 元 的 偏 导数 祥 () 。 
(6=(d(6-yo().yo(EG-yo(6) oo=12… 
5. 利 用 隐 含 层 到 输出 层 的 连接 权 值 Wo 人 如 、 输 出 层 的 名 (4) 和 隐 含 层 的 输出 Aov(t) 计算 误差 函 
数 对 隐 含 层 各 神经 元 的 偏 导数 包 () 。 
50D= [omwjema -MD) 
o=1 
6. 利 用 输出 层 各 神经 元 的 名 (6) 和 隐 含 层 各 神经 元 的 输出 &ov() 来 修正 连接 权 值 We(4) 和 阅 
值 记 CD 
(CD=w(D+7GCDhos( 


及” (= 及 (D+75(D 
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则 ， 


式 中 ，W 表示 调整 前 ，N +1 表 示 调 整 后 ， 刀 为 学 习 率 ， 在 〈0，1) 之 间 取 值 。 


7 .使 用 隐 含 层 各 神经 元 的 名 (k) 和 输入 层 各 神经 元 的 输入 天 (如 ) 修正 连接 权 和 阅 值 。 
GD 


用 (0D= 雁 (0D+751(D 


8. 计 算 全 局 误差 媚 


1 所 2 
页 福 -0) 


9 判断 网 络 误 关 是 可 满足 要 求 当 巨 < 或 学 习 次 数 大 于 设 定 的 最 大 次 数 M ， 则 结束 算法 。 克 


随机 选取 下 一 个 学 习 样本 及 对 应 的 期 望 输 出 ， 返 回 到 第 3 步 ， 进 入 下 一 轮 学 习 过 程 。 
实际 使 用 中 ， 还 应 该 对 已 经 训练 好 的 网 络 进行 测试 ， 即 用 一 组 与 训练 样本 不 同 的 测试 样 








芷 


本 数据 输入 到 已 经 训练 好 的 网 络 中 ， 计 算 其 得 到 的 结果 是 否 在 规定 的 精度 范围 内 。 


2. 4.3 BP 神经 网 络 学 习 算法 的 MATLAB 实现 


MATLAB 神经 网 络 工具 箱 提供 了 的 与 本 算法 相关 的 BP 网 络 分 析 和 设计 的 工具 箱 函数 如 表 


2-4-1 所 示 。 在 MATLAB 的 命令 行 窗口 中 输入 “help backprop”， 便 可 得 到 与 BP 神经 网 络 相关 的 函 
数 ， 


进一步 利用 help 命令 又 能 得 到 相关 函数 的 详细 介绍 
表 2-4-1 MATLAB 中 BP 神经 网 络 的 重要 函数 和 基本 功能 

















函数 名 功能 

newffD) 生成 一 个 前 镇 BP 网 络 

tansig() 双 曲 正切 S 型 (Tan-Sigmoid) 传 输 函数 
logsig0) 对 数 S 型 (Log-Sigmoid) 传 输 函 数 
traingd() 梯度 下 降 BP 训练 函数 














下 面 将 对 表 2-4-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 药品 销售 预测 的 实例 来 说 明 如 何 


41 





建立 一 个 解决 实际 应 用 问题 的 BP 神经 网 络 。 

1. NewffO 

功能 : 建立 一 个 前 向 BP 网 络 

格式 : (D) net= newfKPR，[S1 S2...SNI]，{TF1 TF2...TFN1}，BTF，BLF，PF) 

说 明 :met 为 创建 的 新 BP 神经 网 络 ， PR 为 网 络 输入 取向 量 取 值 范围 的 矩阵 ，[S1 S2…SNI 表 
示 网 络 隐 含 层 和 输出 层 神经 元 的 个 数 ，{TFI TF2…TFN1} 表 示 网 络 隐 含 层 和 输出 层 的 传输 函数 ， 默 
认为 “tansig'; BTEF 表示 网 络 的 训练 函数 ， 默 认为 “trainlm”; BLF 表示 网 络 的 权 值 学 习 函 数 ， 默 认 
为 “learngdm'” ，PF 表示 性 能 数 ， 默 认为 “mse" 。 该 函数 可 以 建立 一 个 N 层 前 向 BP 网 络 。 各 神经 
元 权 值 和 阔 值 的 初始 化 函数 为 initmw， 网 络 的 自 适 应 调整 函数 为 rains， 并 根据 指定 的 学 习 函 数 对 权 
值 和 阔 值 进行 更 新 ， 网 络 的 训练 函数 由 用 户 指定 。 

2. Tansig0 

功能 : 正切 sigmoid 激活 函数 

格式 : (D) a= tansig(n) 

双 曲 正切 Sigmoid 函数 把 神经 元 的 输入 范围 从 C，+c) 肌 射 到 (-1，1D。 它 是 可 导 函 数 ， 适 用 


于 BP 训练 的 神经 元 。 





3 Logsig0 

功能 :对 数 Sigmoid 激活 函数 

格式 : (D) a= logsig(N) 

说 明 : 函数 logsig(0) 的 用 法 同上 。 如 果 BP 网 络 的 最 后 一 层 是 Sigmoid 型 神经 元 ， 那 么 整个 网 络 
的 输出 就 被 限制 在 一 个 较 小 的 范围 内 : 如 果 BP 网 络 的 最 后 一 层 是 Purelin 型 线性 神经 元 ， 那 么 整个 
网 络 的 输出 可 以 取 任 意 值 。 

例子 2-3 ” 表 2-4-2 为 某 药品 的 销售 情况 ， 现 构建 一 个 如 下 的 三 层 BP 神经 网 络 对 药品 的 销售 进 
行 预测 : 输入 层 有 三 个 结 点 ， 隐 含 层 节点 数 为 5， 隐 含 层 的 激活 函数 为 tansig( 双 曲 正切 S 型 传递 函 
数 ); 输出 层 结 点 数 为 1 个 ,输出 层 的 激活 函数 为 logsig(S 型 的 对 数 函数 )， 并 利用 此 网 络 对 药品 的 销 
售 量 进行 预测 ， 预 测 方法 采用 滚动 预测 方式 ， 即 用 前 三 个 月 的 销售 量 来 预测 第 四 个 月 的 销售 量 ， 如 
用 1、2、3 月 的 销售 量 为 输入 预测 第 4 个 月 的 销售 量 ， 用 2、3、4 月 的 销售 量 为 输入 预测 第 5 个 月 
的 销售 量 .如 此 反复 直至 满足 预测 精度 要 求 为 止 。 
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表 2-4-2 药品 销售 情况 表 





销量 


1873 


1478 1900 1500 2046 1556 





%% 以 每 三 个 月 的 销售 量 经 归 一 化 处 理 后 作为 输入 


了 P=[0.5152 
0.8173 
1.0000 
0.7308 
0.1390 
0.1087 


0.8173 
1.0000 
0.7308 
0.1390 
0.1087 
0.3520 


1.0000 ; 
0.7308; 
0.1390; 
0.1087; 
0.3520; 
0.0000;]; 


% 以 第 四 个 月 的 销售 量 归 一 化 处 理 后 作为 目标 向 量 

T=[0.7308 0.1390 0.1087 0.3520 0.0000 0.3761]; 

% 创 建 一 个 BP 神经 网 络 ， 每 一 个 输入 向 量 的 取 值 范围 为 [0 ,]， 隐 含 层 有 5 个 神经 元 ， 输 出 层 
% 有 一 个 神经 元 ， 隐 含 层 的 激活 函数 为 tansig， 输 出 层 的 激活 函数 为 logsig， 训 练 函数 为 梯度 下 
%% 降 函数 ， 即 2.3.2 节 中 所 描述 的 标准 学 习 算法 

net=new 傅 [0 1:0 1;0 1],[S,1],ftansig'logsig" traingd7): 


nettrainParam.epochs=15000; 


nettrainParam.goal=0.01; 


% 设 置 学 习 速率 为 0.1 


LPIr=0.1; 
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net=train(nebPT); 


训练 结束 后 ， 运 行 后 得 到 图 2-4-4 在 命令 行 窗口 中 的 输出 结果 如 下 











= 上 口 |X 

名 Edt Yew Insert Ioos WwWndow Hep 

5 Performance is 0.00999968, Goalis0.01 
首 
癌 ， -1 
风 0 
囊 
台 
旦 ，: 
E 10 
已 
臣 

-3 
10 L 
2000 4000 6000 8000 10000 12000 

Stop Training 12681 Epochs 





图 2-4-4 训练 误差 曲线 
由 图 2-4-4 和 输出 结果 可 以 得 出 训练 过 程 在 10511 次 训练 时 结束 并 达到 预定 的 目标 误差 要 求 。 
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2.5 径 向 基 函 数 神经 网 络 模型 与 学 习 算法 


1985 年 ，Powell 提出 了 多 变量 插值 的 径 向 基 函 数 (Radical Basis Function，RBF) 方 法 。1988 年 ， 
Moody 和 Darken[10,11] 提 出 了 一 种 神经 网 络 结构 ， 即 RBF 神经 网 络 ， 属 于 前 向 神经 网 络 类 型 ， 它 
能 够 以 任意 精度 逼近 任意 连续 函数 ， 特 别 适 合 于 解决 分 类 问题 。 

RBF 网 络 的 结构 与 多 层 前 向 网 络 类 似 ， 它 是 一 种 三 层 前 向 网 络 。 输 入 层 由 信号 源 结 点 组 成 ; 第 
二 层 为 隐 含 层 ， 隐 单元 数 视 廊 描述 问题 的 需要 而 定 ， 隐 单元 的 变换 函数 是 RBF， 它 是 对 中 心 点 径 向 
对 称 且 误 减 的 非 负 非 线性 函数 ， 第 三 层 为 输出 层 ， 它 对 输入 模式 的 作用 作出 响应 。 从 输 和 空间 到 隐 
含 层 空间 的 变换 是 非 线性 的 ， 而 从 隐 含 层 空间 到 输出 层 空间 变换 是 线性 的 。 

RBF 网 络 的 基本 思想 是 : 用 RBF 作为 隐 单 元 的 “ 基 ” 构 成 隐 含 层 空间 ， 这 样 就 可 将 输入 矢量 
直接 ( 即 不 需要 通过 权 连 接 ) 映 射 到 陷 空间 。 当 RBF 的 中 心 点 确定 以 后 ， 这 种 映射 关系 也 就 确定 了 。 
而 隐 含 层 空 间 到 输出 空间 的 映射 是 线性 的 ， 即 网 络 的 输出 是 隐 单 元 输出 的 线性 加 权 和 ， 此 处 的 权 即 
为 网 络 可 调 参数 。 由 此 可 见 ， 从 总 体 上 看 ， 网 络 由 输入 到 输出 的 映射 是 非 线性 的 ， 而 网 络 输出 对 可 
调 参数 而 言 却 又 是 线性 的 。 这 样 网 络 的 权 就 可 由 线性 方程 组 直接 解 出 ， 从 而 大 大 加 快 学 习 速度 并 避 
免 局 部 极 小 问题 。 





2. 5. 1RBF 神经 网 络 模型 


季 疝 基 神 经 网 络 的 神经 元 结构 如 图 2-5-1 所 示 。 径 向 基 神 经 网 络 的 激活 函数 采用 径 向 基 函 数 ， 
通常 定义 为 室 间 任 一 点 到 某 一 中 心 之 间 欧 氏 距 离 的 单调 函数 。 由 图 2-12 所 示 的 径 向 基 神 经 元 结构 可 





以 看 出 ， 德 向 基 神 经 网 络 的 激活 函数 是 以 输入 向 量 和 权 值 向 量 之 间 的 让 离 |aistl 作 为 白 变量 的 。 短 
向 基 神 经 网 络 的 激活 函数 的 一 般 表达 式 为 ; 
Rdist)=elesT 
随 着 权 值 和 输入 向 量 之 问 距离 的 减少 ， 网 络 输 出 是 递增 的 ， 当 输入 向 量 和 权 值 向 量 一 致 时 ， 神 
经 元 输出 1。 结 构 中 的 b 为 阅 值 ， 用 于 调整 神经 元 的 灵敏 度 。 利 用 径 向 基 神 经 元 和 线性 神经 元 可 以 


建立 广义 回归 神经 网 络 , 该 种 神经 网 络 适用 于 函数 逼近 方面 的 应 用 ; 径 向 基 神 经 元 和 竞争 神经 元 (2.5 
节 介 绍 ) 可 以 组 建 概 率 神经 网 络 ， 此 种 神经 网 络 适 用 于 解决 分 类 问题 。 
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由 输入 层 、 隐 含 层 和 输出 层 构成 的 一 般 径 向 基 神 经 网 络 结构 如 图 2-5-2 所 示 。 在 RBF 网 络 中 ， 
输入 层 仅仅 起 到 传输 信号 的 作用 ， 与 前 面 押 讲述 的 神经 网 络 相 比较 ， 输 入 层 和 隐 含 层 之 间 可 以 看 作 
连接 权 值 为 1 的 连接 。 输 出 层 和 隐 含 层 议 完 成 的 任务 是 不 同 的 ， 因 而 它们 的 学 习 策略 也 不 相同 。 输 
出 层 是 对 线性 权 进 行 调整 ， 采 用 的 是 线性 优化 策略 ， 因 而 学 习 速 度 较 快 。 而 隐 含 层 是 对 激活 函数 ( 格 
林 函 数 或 高 斯 函数 ， 一 般 取 高 斯 函数 ) 的 参数 进行 调整 ， 采 用 的 是 非 线性 优化 策略 ， 因 而 学 习 速度 较 
慢 。 





图 2-13 径 向 基 神 经 网 络 结构 


尽管 RBF 网 络 的 输出 是 隐 单 元 输出 的 线性 加 权 和 , 学 习 速 度 加 快 , 但 并 不 等 于 径 向 基 神 经 网 络 
就 可 以 取代 其 它 前 馈 网 络 。 这 是 因为 径 向 基 神 经 网 络 很 可 能 需要 比 BP 网 络 多 得 多 的 隐 含 层 神经 网 
络 元 来 完成 工作 。BP 网 络 使 用 sigmoidO) 函 数 ， 这 样 的 神经 元 有 很 大 的 输入 可 见 区 域 ， 而 径 向 基 神 
经 网 络 使 用 的 径 向 基 函 数 ， 输 入 空间 区 域 很 小 。 这 就 不 可 避免 地 导致 了 在 输入 空间 较 大 时 ， 需 要 更 
多 的 径 向 基 神 经 元 。 





2. 5. 2RBF 网 络 的 学 习 算 法 


RBF 神经 网 络 学 习 算法 需要 求解 的 参数 有 3 个 : 基 函 数 的 中 心 、 方 差 以 及 隐 含 层 到 输出 层 的 权 
值 。 根 据 径 向 基 函 数 中 心 选取 方法 的 不 同 ，RBF 网 络 有 多 种 学 习 方法 ， 如 随机 选取 中 心 法 、 自 组 织 
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选取 中 心 法 、 有 监督 选取 中 心 法 和 正 交 最 小 二 乘法 等 。 下 面 将 介绍 自 组 织 选取 中 心 的 RBF 神经 网 络 
学 习 法 。 此 方法 由 两 个 阶段 组 成 : 一 是 自 组 织 学 习 阶 段 : 此 阶段 为 无 导师 学 习 过 程 ， 求 解 隐 含 层 基 
函数 的 中 心 与 方差 ;二 是 有 导师 学 习 阶段 : 此 阶段 求解 隐 含 层 到 输出 层 之 问 的 权 值 。 

径 向 基 神 经 网 络 中 常用 的 径 向 基 函 数 是 高 斯 函数 ， 因 此 径 向 基 神 经 网 络 的 激活 函数 可 表示 为 : 





RGx， -orexpC5 本 -ch 








式 中 ，， 八 表 示 欧 民 范 数 ， 2 表示 高 斯 函数 的 中 心 ，9 表示 高 斯 函数 的 方差 。 
由 图 2-5-2 的 从 向 基 神 经 网 络 的 结构 可 得 到 网 络 的 输出 为 : 








1 2 
-2 Wexp( 30 =<| ) /=1.2… 


二 四 6 
式 中 ，zz 一 0 2， 


是 第 已 个 输入 样本 ， 已 =12… 。 ， 书 表示 样本 总 数 ， 表示 
网 络 隐 售 层 结 点 的 中 心 ，% 表示 隐 含 层 到 输出 层 的 连接 权 值 ， 守 = 上 2,… 。 ， 帮 表 示 隐 合 层 的 节点 


数 ， 交 表示 与 输入 样本 对 应 的 网 络 的 第 了 个 输出 节点 的 实际 输出 。 设 4 是 样本 的 期 望 输出 值 ， 那 么 
基 函 数 的 方差 可 表示 为 





1 四 y 
c- 过 pol 


学 习 算法 具体 步骤 如 下 : 
1. 基 于 K- 均 值 聚 类 方法 求 取 基 函数 中 心 < 


61) 网 络 初始 化 随机 选取 刀 个 训练 样本 作为 聚 类 中 心 " (Ci 2 )。 

(2) 将 输入 的 训练 样本 集合 按 最 近邻 规 则 分 组 按照 "2 与 中 心 为 5 之 间 的 欧 氏 距离 将 "2 分 配 
到 输入 样本 的 各 个 聚 类 集合 多 ( 一 | 2。 中。 

(3) 重新 调整 聚 类 中 心 计算 各 个 聚 类 集合 多 中 训练 样本 的 平均 值 ， 即 新 的 聚 类 中 心 5， 如 


果 新 的 聚 类 中 心 不 再 发 生变 化 , 则 所 得 到 的 溯 即 为 RBF 神经 网 络 最 终 的 基 函 数 中 心 , 否则 返回 (2)， 
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进入 下 一 轮 的 中 心 求解 。 
2 求解 方差“， 该 RBF 神经 网 络 的 基 函 数 为 高 斯 函数 ， 因 此 方差 , 可 由 下 式 求解 : 


Ca 1 =12,…- 


is 
式 中 ，9me 为 1 中 启 选取 中 心 之 间 的 最 大 距离 。 
3. 计 算 隐 含 层 和 输出 层 之 间 的 权 值 隐 含 层 至 输出 层 之 间 神 经 元 的 连接 权 值 可 以 用 最 小 二 乘法 
直接 计算 得 到 ， 计 算 公式 如 下 : 


W= exp(- 全 | 一 ch 疡 =12… 


2.5. 3RBF 网 络 学 习 算 法 的 MATLAB 实现 


MATLAB 神经 网 络 工 具 箱 提供 的 与 算法 相关 的 径 向 基 神 经 网 络 的 工具 函数 如 表 2-5-1 所 示 。 在 
MATLAB 的 命令 行 窗 口中 输入 “help radbasis”， 便 可 得 到 与 径 向 基 神 经 网 络 相关 的 函数 ， 进 一 步 利 
用 help 命令 又 能 得 到 相关 函数 的 详细 介绍 。 

表 2-5-1 径 向 基 网 络 的 重要 函数 和 基本 功能 





























函数 名 功能 

newrb() 新 建 一 个 径 向 基 神 经 网 络 
newrbe) 新 建 一 个 严格 的 径 向 基 神 经 网 络 
newgrnn() 新 建 一 个 广义 回归 径 向 基 神 经 网 络 
newpnn() 新 建 一 个 概率 径 向 基 神 经 网 络 





下 面 将 对 表 2-5-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 实例 来 说 明 如 何 使 用 表 中 的 工具 
函数 建立 一 个 线性 神经 网 络 。 

1、Newrb(0) 

功能 : 建立 一 个 径 向 基 神 经 网 络 

格式 : (D) net= newrb(P，T，GOAL，SPREAD，MN，DPF) 

说 明 : P 为 输入 向 量 ，T 为 目标 向 量 ，GOAL 为 均 方 误差 ， 默 认为 0，SPREAD 为 径 向 基 函 数 
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的 分 布 密度 , 默认 为 1, MN 为 神经 元 的 最 大 数目 ,， DE 为 两 次 显示 之 间 所 添加 的 神经 元 神经 元 数目 。 
2、Newrbe0) 
功能 : 建立 一 个 严格 的 径 向 基 神 经 网 络 
格式 : (D) net= newrb(P，T， SPREAD) 
说 明 : 各 参数 的 含义 见 Newrb。 
3、Newgrnn() 
功能 : 建立 一 个 广义 回归 径 向 基 神 经 网 络 
格式 : (1D) net = newrb(P，T， SPREAD) 
说 明 : 各 参数 的 含义 见 Newrb。 
4、Newgpnn() 
功能 : 建立 一 个 概率 径 疝 基 神 经 网 络 
格式 : (1D) net= newrb(P，T， SPREAD) 
说 明 : 各 参数 的 含义 见 Newrb。 
例子 2-4 建立 一 个 径 向 基 神 经 网 络 ， 对 非 线性 函数 y-sqrt(x) 进 行 逼近 ， 并 作出 网 络 的 逼近 误差 
则 线 。 
% 输 入 从 0 开始 变化 到 5， 每 次 变化 幅度 为 0.1 
Xx=0:0.1:3; 
ysqrt(x); 
% 建 立 一 个 目标 误差 为 0， 径 向 基 函 数 的 分 布 密度 为 05， 隐 含 层 神经 元 个 数 的 最 大 值 为 20， 每 
% 增 加 5 个 神经 元 显示 一 次 结果 
net=newrb(x,Y0,0.5,20,5); 
t=sim(netX); 
% 在 以 输入 x 和 函数 值 与 网 络 输出 之 间 的 差 值 y-t 坐标 上 绘 出 误差 曲线 ， 并 用 “* ”来 标记 函数 
% 值 与 网 络 输出 之 间 的 差 值 
plotxy-bw-) 








训练 结束 后 ， 网 络 的 台 近 误差 曲线 如 图 2-5-3 记 示 ， 在 命令 行 窗口 中 的 输出 结果 如 下 : 
% 用 NEWRB 来 训练 网 络 ， 神 经 元 个 数 为 0， 均 方 和 误 状 为 9.17903 

NEWRB, neurons=0,SSE= 9.17903 

NEWRB, neurons = $, SSE = 0.924825 

NEWRB, neurons = 10, SSE = 0.0394536 

NEWRB, neurons = 15, SSE = 0.00184102 

NEWRB, neurons = 20, SSE = 3.75484e-005 











图 2-5-3 网 络 的 逼近 误差 曲线 
由 图 2-5-3 可 以 看 到 ， 网 络 的 输出 和 函数 值 之 间 的 差 值 在 隐 含 层 神经 元 的 个 数 为 20 时 已 经 接近 
于 0， 说明 网 络 输出 能 非常 好 地 逼近 函数 。 


2.6 自 组 织 神经 网 络 模型 与 学 习 算法 


自 组 织 神 经 网 络 ， 又 称 为 自 组 织 竞争 神经 网 络 ， 特 别 适 合 于 解决 模式 分 类 和 识别 方面 的 应 用 问 
题 。 自 组 织 神经 网 络 属于 前 向 神经 网 络 类 型 ， 采 用 无 导师 学 习 算 法 ， 其 工作 的 基本 思想 是 让 竞争 层 
各 神经 元 通过 竞争 与 输入 模式 进行 匹配 ， 最 后 仅 有 一 个 神经 元 成 为 竞争 的 胜 者 ， 这 一 获胜 神经 元 的 
输出 就 代表 对 输入 模式 的 分 类 。 自 组 织 特征 映射 神经 网 络 不 仅 能 够 像 自 组 织 竞争 神经 网 络 一 样 学 习 
输入 的 分 布 情况 ， 而 且 可 以 学 习 神 经 网 络 的 拓扑 结构 。 
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常用 的 自 组 织 竞 争 神经 网 络 有 自 适应 共振 理论 (Adaptive Resonance Theory，ART) 网 络 、 自 组 织 
特征 映射 self-Oreanizing Feature Map，SOMJ) 网 络 、 对 传 (Counter Propagation，CP) 网 络 和 协同 神经 
网 络 (Synergetic Neural Network。SNN) 等 。 

本 节 以 及 下 一 节 将 分 别 介绍 自 组 织 特征 映射 网 络 、 学 习 矢量 量化 两 种 自 组 织 竞争 神经 网 络 的 网 
络 模型 、 学 习 算法 及 对 应 的 MATLAB 工具 。 


2.6.1 自 组 织 特征 映射 神经 网 络 结构 
自 组 织 特征 映射 网 络 也 称 为 Kohonen 网 络 , 其 网 络 结构 如 图 2-6-1 所 示 , 它 是 由 荷兰 学 者 Teuvo 


Kohonen 于 1981 年 提出 来 的 ， 基 本 上 为 输入 层 和 映射 层 的 双 层 结构 ， 输 入 层 用 于 接收 输入 模式 ， 映 
射 层 输出 结果 ， 映 射 层 的 神经 元 互相 连接 ， 每 个 输出 神经 元 连接 至 所 有 输入 神经 元 。 











2-14 Kohonen 


2.5.2 自 组 织 特征 映射 网 络 的 学 习 算法 


下 面 讨论 作为 无 导师 学 习 算法 代表 的 Kohonen 自 组 织 特征 映射 算法 。Kohonen 自 组 织 特 征 映射 
算法 ， 能 够 自动 找 出 输入 数据 之 间 的 类 似 度 ， 将 相似 的 输入 在 网 络 上 就 近 配 置 。 因 此 是 一 种 可 以 构 
成 对 输入 数据 有 选择 地 给 予 反应 的 网 络 。 

Kohonen 的 自 组 织 特征 映射 的 学 习 算法 步骤 归纳 如 下 : 

1. 网 络 初始 化 用 随机 数 设 定 输入 层 和 映射 层 之 问 权 值 的 初始 值 。 


| 


2. 输 入 向 量 的 输入 把 输入 向 量 ”输入 给 输入 层 。 
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3. 计 算 映 射 层 的 权 值 向 量 和 输入 向 量 的 距离 在 映射 层 , 计算 各 神经 元 的 权 值 向 量 和 输入 向 量 的 
欧 氏 距离 。 这 里 ， 映 射 层 的 第 了 个 神经 元 和 输入 向 量 的 距离 ， 按 下 式 给 出 : 


0- 人 -7 


式 中 ， "为 输入 层 的 神 经 元 和 映射 层 的 了 神经 元 之 间 的 权 值 。 
4. 选 择 与 权 值 向 量 的 距离 最 小 的 神经 元 计算 并 选择 使 输入 向 量 和 权 值 向 量 的 距离 最 小 的 神经 
元 ， 如 由 为 最 小 ， 把 其 称 为 胜出 神经 元 并 记 为 了 ， 并 给 出 其 邻接 神经 元 集合 。 
5. 权 值 的 学 习 胜出 神经 元 和 位 于 其 邻接 神经 元 的 权 值 ， 按 下 式 更 新 : 
Aw =7hC7 六 5 一 mW 


式 中 ， 允 为 一 个 大 于 0 小 于 1 的 常数 ，hC7,.79 成 为 邻 域 函数 ， 用 下 式 表 示 


2 吕 
hi 六 =epL 7 


(2-3) 
上 式 的 随 着 学 习 的 进行 而 减 小 。 因此 ，hCP. 9 的 范围 ， 学 习 初 期 很 宽 ， 随 湖 学 习 的 进行 而 


变 窄 。 也 就 是 说 ， 随 着 学 习 的 进行 从 粗 调整 疝 微调 整 变化 。 这 样 ， 邻 域 函数 hC7P.79 可 以 起 到 产生 


有 效 映射 的 作用 。 
6. 是 否 达 到 预先 设 定 的 要 求 ， 如 达到 要 求 则 算法 结束 ， 否 则 返回 2， 进 入 下 一 轮 学 习 。 
在 自 组 织 特征 映射 中 , 由 式 (2-3) 可 见 , 胜出 神经 元 和 其 附近 的 神经 元 全 部 接近 当时 的 输入 向 量 。 


学 习 初 期 ， 根 据 邻 域 函数 hCP.759 ， 在 附近 有 很 多 神经 元 ， 形 成 粗略 的 映射 。 随 关 学 习 的 进行 








h(779 变 罕 ， 胜 出 神经 元 附近 的 神经 元 数 变 少 。 因 此 ， 接 着 继续 进行 局 部 微调 整 ， 空 间 分 辨 率 提 
高 。 

自 组 织 竞争 神经 网 络 算法 能 够 进行 有 效 的 自 适应 分 类 ， 但 它 仍 存在 一 些 问题 。 第 一 个 问题 就 是 
学 习 速度 的 选择 使 其 不 得 不 在 学 习 速 度 和 最 终 权 值 向 量 的 稳定 性 之 问 进行 折 变 。 第 二 个 问题 是 有 时 
一 个 神经 元 的 初始 权 值 向 量 离 输入 向 量 太 远 以 至 于 它 从 未 在 竞争 中 获胜 ， 因 而 也 从 未 得 到 学 习 ， 这 
将 形成 毫 无 用 处 的 “ 死 ” 神 经 元 。 
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2.6.3 自 组织 网 络 学 习 算法 的 MATLAB 实现 


MATLAB 神经 网 络 工具 箱 提 供 的 与 算法 相关 的 自 组 织 神经 网 络 工具 函数 的 名 称 和 基本 功能 如 
表 2-6-1 所 示 。 在 MATLAB 的 命令 行 窗口 中 输入 “help selforg”， 便 可 得 到 与 自 组 织 网 络 相关 的 函 
数 ， 进 一 步 利 用 help 命令 又 能 得 到 相关 函数 的 详细 介绍 。 
表 2-6-1 自 组 织 神经 网 络 的 重要 函数 和 基本 功能 



































函数 名 功能 

newsom0) 创建 一 个 自 组 织 特征 映射 神经 网 络 

plotsom() 绘制 自 组 织 特征 映射 网 络 的 权 值 矢量 

vec2ind0) 将 单 值 矢量 组 变换 成 下 标 矢量 

compet() 竞争 传输 函数 

midpointO) 中 点 权 值 初始 化 函数 

learnsom() 自 组 织 特征 映射 权 值 学 习 规则 函数 

下 面 对 表 2-6-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 实例 来 说 明 如 何 使 用 表 中 的 工具 函 
数 建 立 一 个 自 组 织 神经 网 络 ， 解 决 实际 应 用 中 的 问题 。 

1. Newsom0 

功能 : 创建 一 个 自 组 织 特征 映射 网 络 函 数 


格式 : (TD) net = newsom 
(2) net = newsom(PR，[D1，D2，..]，TEFCN，DFCN，OLR，OSTEPS，TLR，TND) 

说 明 : 式 (1) 返 回 一 个 没有 定义 结构 的 空 对 象 ， 并 显示 图 形 解雇 界面 函数 nntool 的 帮助 文字 ; 式 
(2) 中 net 为 生成 的 新 BP 神经 网 络 ，PR 为 网 络 输入 矢量 取 值 范围 的 矩阵 [Pmin Pmax]，[D1，D2，.…] 
为 神经 元 在 多 维 空间 中 排列 时 各 维 的 个 数 ，TFCN 为 拓扑 函数 ， 缺 省 值 为 hextop; DFCN 为 距离 函 
数 ， 缺 省 值 为 linkdist，OLR 为 排列 阶段 学 习 速 率 ， 缺 省 值 为 0.9; OSTEPS 为 排列 阶段 学 习 次 数 ， 
缺 省 值 为 1000;, TLR 为 调整 阶段 学 习 速率 , 缺 省 值 为 0.02，TND 为 调整 阶段 领域 半径 , 缺 省 值 为 1。 
自 组 织 映 射 网 络 常用 于 解决 分 类 问题 ， 神 经 元 的 加 权 函 数 为 netdist， 输 入 函数 为 netsum， 传 递 函数 
为 compet， 权 值 初始 化 函数 为 midpoint， 自 适应 调整 函数 为 trains， 训 练 函数 为 trainr， 学 习 函 数 为 


learnsom。 


2. Plotsom0) 








5S3 





功能 : 
格式 : 


说 明 : 
的 拓扑 图 ， 


绘制 自 组 织 特征 映射 网 络 图 的 权 值 向 量 函 数 
(1) plotsom(pos) 
(2) plotsom(W，D，ND) 


式 中 pos 是 


图 中 每 两 个 间 


络 中 各 神经 元 在 物理 空间 分 布 的 位 置 坐标 算 阵 ; 函数 返回 神经 元 物理 分 布 
距 小 于 !1 的 神经 元 以 直线 连接 ，W 为 神经 元 权 值 矩阵 ; D 为 根据 神经 元 位 


置 计算 出 的 间接 算 阵 ， ND 为 领域 半径 ， 缺 省 值 为 1; 函数 返回 神经 元 权 值 的 分 布 图 ， 图 中 每 两 个 间 
距 小 于 ND 的 神经 元 以 直线 连接 。 


3. Vec2ind0 
功能 : 


将 单 值 向 量 


变换 成 下 标 向 量 


格式 :ind = vec2ind(vec) 


说 明 : 


均 为 0， 


ind 为 n 个 元 素 : 


式 中 ，vec 为 


mm 行 n 列 的 向 量 矩 阵 x，x 中 的 每 个 列 向 量 i， 除 包含 一 个 1 外 ， 其 余 元 素 


值 为 1 捷 在 的 行 下 标 值 构成 的 一 个 行 向 量 。 


例子 2-5 人 口 分 类 是 人 口 统计 中 的 一 个 重要 指标 , 现 有 1999 共 10 个 地 区 的 人 口 出 生 比 例 情况 如 下 ， 


出 生男 性 百分比 分 别 
0.5103 
出 生 女 性 百分比 分 别 


0.5003; 


为 : 0.5512 0.5123 0.5087 ”0.5001 0.6012 ”0.5298 ”0.5000 ”0.4965 





为 : 0.4488 ”0.4877 0.4913 ”0.4999 ”0.3988 ”0.4702 ”0.5000 


0.5035 ”0.4897 0.4997 


建立 一 个 自 组 织 神经 网 络 对 


数据 分 类 ， 给 定 某 个 地 区 的 男 、 女 出 生 比 例 分 别 为 0.5，0.5， 测 试 





训练 后 的 自 组 织 神经 网 络 的 性 能 ， 判 断 其 届 于 哪个 类 别 。 
MATLAB 代码 如 下 : 
P=[0.5512 。” 0.5123 
0.4877 0.4913 ”0.4999 0.3988 0.4702 ”0.5000 0.5035 0.4897 0.4997]; 
6 创建 一 个 自 组 织 神经 网 络 ，[0 1;0 !] 表 示 输 入 数据 的 取 值 范围 在 [0，1U 之 问 ，[3， 才 表示 竞争 
织 结构 为 3x 4， 其 余 参 数 取 默 认 值 
net=newsom([0 1;0 1],[3 4]); 
net.trainParam.epochs=500; 
net=init(net); 
net=train(nebP); 
y=sim(nebP); 
% 获 取 训练 后 的 自 组 织 神经 网 络 的 权 值 
wl=netIW{LT; 
%% 绘 出 训练 后 自 组 织 神经 网 络 的 权 值 分 布 图 
plotsom(w1l,netlayers{1}.distances); 


% 输 入 测试 数据 


0.4488 


% 层 组 


织 结 


0.5087 ”0.5001 0.6012 ”0.5298 ”0.5000 0.4965 ”0.5103 0.5003; 





p=[0.5;0.5]; 
%% 对 网 络 进行 测 试 
y_test=sim(nebp); 
% 将 测试 数据 所 得 到 的 将 单 值 向 量 组 变换 成 下 标 向 量 
yY_test=vec2ind(y_test) 
程序 运行 后 得 到 训练 后 的 权 值 分 布 如 图 2-6-2 所 示 ， 在 命令 行 窗口 得 到 下 面 结果 : 
% 使 用 TRAINR 作为 训练 函数 ， 最 大 训练 次 数 为 500 次 
>> TRAINR, Epoch 0/500 
TRAINR, Epoch 25/500 
TRAINR, Epoch 50/500 
TRAINR, Epoch 75/500 
TRAINR, Epoch 100/500 
TRAINR, Epoch 125/500 
TRAINR, Epoch 150/500 
TRAINR, Epoch 175/500 
TRAINR, Epoch 200/500 
TRAINR, Epoch 225/500 
TRAINR, Epoch 250/500 
TRAINR, Epoch 275/500 
TRAINR, Epoch 300/500 
TRAINR, Epoch 325/500 
TRAINR, Epoch 350/500 
TRAINR, Epoch 375/500 
TRAINR, Epoch 400/500 
TRAINR, Epoch 425/500 
TRAINR, Epoch 450/500 
TRAINR, Epoch 475/500 
TRAINR, Epoch 500/500 
TRAINR, Maximum epoch reached. 
%% 训 练 结束 后 的 结 
y= 
4 10 10 12 1 6 12 12 10 地 
% 输 入 测试 数据 后 扩 得 到 的 结果 
y_test = 
12 
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Figure No.1I 


I 





图 2-6-2 网 络 权 值 分 布 图 
将 训练 后 的 输出 数据 列 到 表 2-6-2 中 , 由 表 可 知 网 络 将 数据 聚 成 了 5 类 ,测试 数据 被 划分 到 第 3 


表 2-6-2 输出 结果 类 型 














样本 数据 类 别 激发 神经 元 标号 

1 1 4 

| 攻 本 到 2 10 | 
14 7，8 3 12 

医 4 1 

|5 5 6 
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2.7 学 习 向 量 量化 (LVQ) 神 经 网 络 模型 与 学 习 算法 


2.7.1 LVQ 神经 网 络 结构 


学 习 疝 量 量化 LVQ(Learming Vector Quantization) 神 经 网 络 ， 属 于 前 向 神经 网 络 类 型 ， 在 模式 识 
别 和 优化 领域 有 着 广泛 的 的 应 用 ， 其 网 络 结构 如 图 2-7-1 所 示 。 

LVQ 神经 网 络 由 三 层 组 成 , 即 输入 层 、 隐 含 层 和 输出 层 , 网 络 在 输入 层 与 隐 含 层 间 为 完全 连接 ， 
而 在 隐 含 层 与 输出 层 问 为 部 分 连接 ， 每 个 输出 层 神经 元 与 隐 含 层 神经 元 的 不 同 组 相连 接 。 隐 含 层 和 
输出 层 神经 元 之 间 的 连接 权 值 固定 为 1 。 输 入 层 和 隐 含 层 神经 元 间 连 接 的 权 值 建立 参考 矢量 的 分 量 
(对 每 个 隐 含 神经 元 指定 一 个 参考 矢量 )。 在 网 络 训练 过 程 中 ,这些 权 值 被 修改 。 陷 含 层 神经 元 (又 
称 为 Kohnen 神经 元 ) 和 输出 神经 元 都 具有 二 进 制 输出 值 。 当 某 个 输入 模式 被 送 至 网 络 时 ， 参 考 矢 










量 最 接近 输入 模式 的 隐 含 神经 元 因 获 得 激发 而 赢得 竞争 ， 因 而 允许 它 产生 一 个 " 1 ”， 而 其 它 隐 含 层 
神经 元 都 被 迫 产生 “ 0 "。 与 包含 获胜 神经 元 的 隐 含 层 神经 元 组 相连 接 的 输出 神经 元 也 发 出 "1 "， 而 


了 出 神经 元 均 发 出 ”0 "。 产 生 “ 1 "的 输出 神经 元 给 出 输入 模式 的 类 ， 由 此 可 见 ， 每 个 输出 神经 
元 被 用 于 表示 不 同 的 类 。 








2.7.2 LVQ 神经 网 络 的 学 习 算法 
LVQ 神经 网 络 算法 是 在 有 教师 状态 下 对 隐 含 层 进 行 训练 的 一 种 学 习 算法 , 是 从 Kohonen 竞争 算 
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法 演化 而 来 的 。 向 量 量 化 的 想法 是 将 几 个 数据 归 到 一 起 ,进行 模式 分 类 ， 因 此 LVQ 算法 可 以 认为 是 
把 自 组 织 特征 映射 算法 改良 成 有 教师 学 习 的 算法 。LVQ 神经 网 络 算法 可 分 为 LVQI 算法 和 LVQ2 算 
法 两 种 。 

一 、LVQl 算法 

LVQ 网 络 与 自 组 织 特征 映射 网 络 相 同 ， 为 双 层 网 络 结构 。 因 为 LVQ 网 络 是 以 模式 分 类 为 目的 ， 
一 般 第 2 层 比 第 1 层 的 神经 元 数 少 ， 同 一 层 的 神经 元 之 间 没 有 结合 。 在 LVQ 中 ， 第 2 层 各 个 神经 
元 有 各 自 的 领域 。 根 据 第 1 层 和 第 2 层 之 间 的 权 值 ， 输 入 向 量 可 以 被 分 到 任意 一 个 领域 。Kohonen 
把 自 组 织 特征 映射 算法 改良 成 有 教师 学 习 算法 ， 首 先 设 计 了 LVQI 算法 。 

LVQI 算法 具体 步骤 如 下 : 

1. 网 络 初始 化 用 较 小 的 随机 数 设 定 输入 层 和 隐 含 层 之 间 的 权 值 初始 值 。 


2 输入 向 量 的 输入 将 输 人 向 量 x= [io,29” 。 送 入 到 输入 层 。 
3 .计算 输出 层 与 输入 向 量 的 距离 输出 层 第 j 个 神经 元 和 输入 向 量 的 距离 ， 与 自 组 织 化 映射 的 情 


况 相 同 ， 由 下 式 给 出 ， 
少 -人 一 四 3 
1 


式 中 ， 交 为 输入 层 的 神 经 元 相映 射 层 的 了 神经 元 之 间 的 权 值 。 

4. 选 择 与 权 值 向 量 的 距离 最 小 的 神经 元 计算 并 选择 使 输入 向 量 和 权 值 向 量 的 距离 最 小 的 神经 
元 就 ， 如 4 为 最 小 ， 则 把 其 称 为 胜出 神经 元 并 记 为 三 。 

5. 更 新 连接 权 值 更 新 连接 权 值 时 ， 正 确 分 类 时 和 不 正确 分 类 时 的 权 值 的 调整 更 新 公式 是 不 同 
的 ， 公 式 如 下 : 


十 17( 基 一 W)， 
碳 志 10 一 Wi (2-5) 
IC (2-6) 


式 中 ， 刀 > 0 为 学 习 系数 ， 如 果 是 正确 分 类 时 ， 权 值 调整 量 采 用 〈2-5) 式 ， 否 则 权 值 调整 量 采 


用 (2-6) 式 。 
6. 是 否 满足 预先 设 定 的 精度 要 求 ， 满 足 时 算法 结束 ， 否 则 返回 2， 进 入 下 一 轮 学 习 。 
二 、LVQ2 算法 


当 LVQI 出 现 识别 错误 时 , 即 当 不 应 该 胜出 的 神经 元 以 微小 的 差别 成 为 胜出 神经 元 时 , 用 LVQ2 
对 其 加 以 改良 。 这 相当 于 输入 向 量 恰好 临近 到 两 个 神经 元 的 领域 的 交界 附近 ， 以 微小 的 差别 进入 到 
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错误 一 方 。 

具体 算法 中 ，1-~4 与 LVQI 算法 相同 。 

5. 更 新 连接 权 值 。 网 络 在 正确 识别 时 与 LVQI 的 情况 相同 ， 根 据 式 〈2-5) 进行 权 值 的 更 新 。 当 
不 应 该 胜出 的 神经 元 1 以 微小 的 差别 成 为 胜出 神经 元 2， 且 满足 以 下 条 件 时 时 : 

(1) 神经 元 2 是 正确 的 ; 

(2) 神经 元 2 与 胜出 神经 元 的 差 很 小 。 

对 胜出 神经 元 1 和 因 微小 差别 而 没有 胜出 的 神经 元 2， 根据 式 〈2-6) 进行 权 值 的 更 新 。 

6、 是 否 满足 预先 设 定 的 精度 要 求 ， 满 足 时 算法 结束 ， 否 则 返回 2， 进 入 下 一 轮 学 习 。 














2.7. 3 LV9 神经 网 络 学 习 算法 的 MATLAB 实现 

















MATLAB 神经 网 络 工具 箱 中 提供 的 与 算法 相关 的 LVQ 神经 网 络 工具 函数 和 基本 功能 如 表 2-7-1 
所 示 。 在 MATLAB 的 命令 行 窗口 中 输入 “help lvq”， 便 可 得 到 与 LVQ 神经 网 络 相关 的 函数 ， 进 一 
步 利用 help 命令 又 能 得 到 相关 函数 的 详细 介绍 

表 2-7-1 LVQ 的 重要 函数 和 基本 功能 
函数 名 功 能 
newlvq() 建立 一 个 LVQ 神经 网 络 函 数 
learnlv10) LVQI 权 值 学 习 函 数 
vec2ind0) 将 单 值 矢量 组 变换 成 下 标 矢量 
plotvee0) 用 不 同 的 颜色 画 矢 基 函 数 














下 面 对 表 2-7-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 实例 来 说 明 如 何 使 用 表 中 的 工具 函 
数 建立 一 个 LVQ 神经 网 络 并 用 于 解决 应 用 问题 。 

1. Newlvq0 

功能 ， 建 立 一 个 向 量 量化 神经 网 络 函 数 

格式 : (1) net= newlvq 

(2) net=newlvq(PR，S1，PC，LR，LF) 

说 明 : 式 (D 返 回 一 个 没有 定义 结构 的 室 对 象 ， 并 显示 函数 nntool 的 帮助 文字 ; 式 (2) 中 ，net 为 
生成 的 学 习 向 量 量化 网 络 ， PR 为 一 个 Rx2 维 的 网 络 输入 矢量 取 值 范围 的 矩阵 Pmin Pmax]; SI! 表示 
隐 含 层 神经 元 的 数目 ; PC 表示 在 第 二 层 的 权 值 中 列 访 属 类 别 的 百分比 ; LR 表示 学 习 速 率 ， 默 认 值 
为 0.01; Lf 表 示 学 习 函 数 ， 默 认 值 为 learlv1。 

2. Ind2vec0 
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功能 : 将 下 标 矢量 变换 成 单 值 矢量 组 函数 

格式 : vec = ind2vec(ind) 

说 明 : 式 中 ，ind 为 包含 mn 个 下 标的 行 矢量 x; vec 为 目 行 nm 列 的 矢量 组 矩阵 ， 和 矩 阵 中 的 每 个 矢 
量 i 除了 由 x 中 的 第 i 个 元 素 指定 的 位 置 为 1 外 ， 其 余 元 素 均 为 0， 矩阵 的 行 数 m 等 于 x 中 最 大 的 
下 标 值 。 

3. Learnlv10 

功能 : LVQI1 权 值 学 习 函 数 

格式 : () [dW，LS] = leamlv1(W，P，Z，N，A，T，E，8gW，gA，D，LP，LS) 

(2) info =leamlvl(code) 

说 明 : 式 中 ，dW 为 S*R 权 值 〈 或 阔 值 ) 变化 矩阵 ，LS 为 当前 学 习 状态 (可 省 略 );，W 为 S+R 
的 权 值 矩阵 或 者 为 S*l 的 阔 值 矢量 ，P 为 R*Q 的 输入 矢量 或 者 为 1*Q 的 全 为 1 的 矢量 ; Z 为 S*Q 
的 输入 层 的 权 值 矢量 (可 省 略 ); N 为 S*Q 的 网 络 输入 矢量 (可 省 略 ); A 为 S*Q 的 输出 矢量 ; T 为 S*Q 
的 目标 输出 矢量 (可 省 略 );E 为 S*Q 误差 矢量 (可 省 略 );gW 为 S*R 的 与 性 能 相关 的 权重 梯度 矩阵 (可 
省 略 ); gA 为 S*Q 的 与 性 能 相关 的 输出 梯度 值 矩阵 (可 省 略 );D 为 S*S 的 神经 元 距离 矩阵 (可 省 略 ); 
LP 为 学 习 参数 ， 该 函数 的 学 习 参数 由 LPIr 构成 ， 缺 省 值 为 0.01;， LS 为 学 习 函 数 声明 (可 省 略 )。 函 
数 learnk(code) 返 回 学 习 函 数 的 有 关 信 息 ，code 字符 串 的 取 值 为 : 

pnames 一 一 返回 学 习 函 数 参 数 的 名 称 ; 

pdefaults 一 一 返回 学 习 函 数 参 数 的 缺 省 值 ; 

needg 一 一 当 该 函数 使 用 了 参数 gW 和 gA 时 返回 值 为 1。 

Learnlvl 函数 利用 LVQI1 规则 对 权 值 进行 调整 ， 该 函数 多 用 于 学 习 矢量 量化 网 络 中 。 在 leamlv1 
函数 中 ， 当 网 络 输出 为 0 时 ， 权 值 不 作 调整 ， 当 输出 不 为 0 时 ， 权 值 将 根据 梯度 矢量 gA 的 取 值 进 
行 调整 

4. Plotvec0 

功能 : 用 不 同 颜色 绘制 矢量 的 函数 

格式 : plotvecX，C，MD) 

说 明 : 式 中 X 为 一 个 列 矢量 矩阵 ，C 为 标记 颜色 坐标 的 行 矢量 ;， M 为 指定 绘图 时 矢量 的 标记 符 
号 ， 缺 省 值 为 “+ ”。 

例子 2-6 针对 一 组 输入 向 量 ， 设 计 一 个 LVQ 神经 网 络 ， 经 过 训练 后 ， 能 对 给 定数 据 进行 模式 
识别 。 

MATLAB 代码 如 下 : 

% 输 入 向 量 P 及 其 对 应 的 类 别 向 量 C 

P=-[-6-4-2 0000246;02-212-212-20]; 

C=[1112222111]; 

% 将 类 别 向 量 C 转换 为 目标 向 量 T 
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T=ind2vec(C); 

% 绘 制 输入 向 量 P， 如 图 2-7-2 所 示 ， 用 颜色 将 输入 向 量 分 为 两 类 

plotvec(PC,*r); 

% 输 入 向 量 绘制 在 一 个 横 坐 标 在 [-8 8] 之 问 ， 纵 坐标 在 [-3 3] 之 间 的 坐标 平面 内 

axis([-8 8 -3 3]); 

%% 创 建 一 个 LVQ 神经 网 络 ， 隐 含 层 有 5 个 神经 元 ，[0.6 0.4] 表 示 在 隐 含 层 的 权 值 中 ， 有 60% 的 
% 列 的 第 一 行 的 值 为 1，40% 的 列 的 第 一 行 值 为 1， 也 就 是 说 有 60% 的 列 属于 第 一 类 ，40% 属 于 
% 第 二 类 ， 网 络 的 其 他 参数 取 默 认 值 

net= newlvq(minmax(P),5,[0.6 0.4]); 

net.trainParam.epochs=100; 

net=train(netPT); 

% 给 定数 据 ， 输 出 网 络 的 分 类 结果 测试 网 络 的 性 能 

p=[0 1;0.2 0]; 

yY=sim(nebp); 

yc=vec2ind(y) 





程 丘 后 ， 得 到 图 2-7-2 和 图 2-7-3， 由 图 2-7-3 可 以 看 出 网 络 在 训练 到 第 4 次 时 已 经 达到 误 
差 要 求 ， 在 命令 行 窗口 中 得 到 下 面 结果 : 
% 用 TRAINR 作为 训练 函数 ， 最 大 训练 次 数 为 100 次 
>> TRAINR, Epoch 0/100 
TRAINR, Epoch 4/100 
TRAINR, Performance goal met. 
% 对 给 定数 据 ， 一 个 归于 第 2 类 ， 一 个 归于 第 1 类 
这 二 
刘 了 
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Figure No.1 
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图 2-7-2 输入 样本 数据 分 布 图 
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图 2-7-3 训练 误差 曲线 
由 类 别 向 量 C 可 以 看 出 ， 输 入 样本 数据 中 ， 前 3 个 和 后 3 个 属于 一 类 ， 中 间 4 个 属于 第 二 类 ， 
由 绘制 的 输入 向 量 图 ， 也 看 到 用 颜色 将 其 分 为 了 二 类 ， 输 入 测试 数据 p=[0 1;0.2 9] 后 ， 网 络 输 出 结 
果 表 明 其 分 类 是 正确 的 。 


2.8 Elman 神经 网 络 算法 模型 与 学 习 算法 


2. 8. 1EIman 神经 网 络 结构 


与 前 述 神经 网 络 不 同 ，Elman 神经 网 络 是 一 种 反馈 神经 网 络 ， 比 前 向 神经 网 络 具 有 更 强 的 计算 
能 力 ， 前 向 神经 网 络 比较 重视 学 习 算 法 的 研究 ， 而 反馈 神经 网 络 的 稳定 性 相对 于 学 习 算法 来 说 更 重 
要 。 

2-8-1 给 出 了 Elman 神经 网 络 的 结构 , 该 网 络 模型 是 Elman 于 1990 年 提出 来 的 , 具有 与 MLP 
网 络 相似 的 多 层 结构 。Elman 网 络 由 四 层 组 成 ， 除 了 普通 的 隐 含 层 外 ， 还 有 一 个 特别 的 隐 含 层 ， 称 
为 承接 层 ， 也 称 为 上 下 文 层 或 状态 层 。 输 入 层 的 神经 元 仅 起 信号 传输 作用 ， 输 出 层 神经 元 起 线性 加 
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权 作 用 。 承 接 层 从 隐 含 层 接收 反馈 信号 ， 用 来 记忆 隐 含 层 神经 元 前 一 时 刻 的 的 输出 值 ， 承 接 层 神经 
元 的 输出 经 延迟 与 存储 ， 再 输入 到 隆 含 层 。 这 样 就 使 其 对 历史 数据 具有 敏感 性 ， 增 加 了 网 络 自身 处 
理 动态 信息 的 能 力 ， 从 而 达到 动态 建 模 的 目的 。 如 果 只 有 正 向 连接 是 适用 的 ， 而 反馈 连接 被 预定 为 
恒 值 ， 则 网 络 可 视 为 普通 的 前 馈 网 络 。 


-16 ElIman 


2. 8. 2ElIman 神经 网 络 学 习 算法 . 
Elman 神经 网 络 算法 可 以 采用 BP 网 络 中 所 使 用 的 附加 动量 的 梯度 下 降 反 向 传播 算法 对 网 络 进 


行 训练 ,下 面 给 出 Elman 神经 网 络 各 层 之 间 的 表达 式 和 误差 函数 ， 详 细 算 法 请 参照 3.1.2 中 的 BP 网 
络 学 习 算法 的 附加 动量 改进 算法 。 


在 图 2-8-1 中 ， 如 果 输 入 向 量 由 为 了 维 向 量 ， 输 出 向 量 y 为 严 维 ， 隐 含 层 输 出 向 量 X 为 对 维 ， 
承接 层 输出 向 景 ae 为 卫 维 ， 了 WwW 分 别 为 隐 含 层 到 输出 层 、 输 入 层 到 隐 含 层 、 承 接 层 到 隐 作 层 


的 连接 权 值 。g() 为 输出 神经 元 的 激活 函数 ， 是 隐 含 层 输 出 的 线性 组 合 。 代 D 为 隐 含 层 神经 元 的 激 
活 函数 ， 则 各 层 之 间 的 表达 式 如 下 ; 
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COD = gax(bD) 
xD=fwlxc(O+w2(u(t-D 
xD=x(k-D) 
网 络 权 值 修正 方法 采用 BP 算法 中 的 方法 ， 衡 量 算法 是 否 结束 的 误差 函数 如 下 


E=yDD-dODT 
A=1 
式 中 cf) 为 期 望 输出 向 量 。 
2. 8. 3ElIman 神经 网 络 学 习 算法 的 MATLAB 实现 


表 2-8-1 列 出 了 MATLAB 神经 网 络 工具 箱 中 提供 的 与 算法 相关 的 ElIman 神经 网 络 工具 函数 和 基 
本 功能 。 在 MATLAB 的 命令 行 窗口 中 输入 “help elman”， 便 可 得 到 与 ElIman 神经 网 络 相关 的 函数 ， 

















进一步 利用 help 命令 又 能 得 到 相关 函数 的 详细 介绍 
表 2-8-1 Elman 神经 网 络 的 重要 函数 和 基本 功能 
函数 名 功能 
newelm0) 生成 一 个 Elman 神经 网 络 
trains() 根据 已 设 定 的 权 值 和 阔 值 对 网 络 进行 顺序 训练 
traingdx() 自 适应 学 习 速 率 动 基 梯 度 下 降 反 向 传播 训练 函数 
learmgdm0) 动量 梯度 下 降 权 值 和 阔 值 学 习 函 数 

















下 面 对 表 2-8-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 预测 空调 负荷 的 实例 来 说 明 如 何 利 
用 工具 函数 建立 一 个 Elman 神经 网 络 。 
例子 2-7 表 2-8-2 为 某 单位 办 公 室 七 天 上 午 9 点 到 12 点 的 空调 负荷 数据 , 数据 已 经 做 了 归 一 化 
处 理 ， 预 测 方法 采用 前 6 天 的 数据 作为 网 络 的 训练 样本 ， 每 3 天 的 负荷 作为 输入 向 量 ， 第 4 天 的 负 
表 2-8-2 空调 负荷 数据 表 
时 间 9 时 负荷 10 时 负荷 11 时 负荷 12 时 负荷 
第 1 天 0.4413 0.4707 0.6953 0.8133 
第 2 天 0.4379 0.4677 0.6981 0.8002 
































的 























第 3 天 0.4517 0.4725 0.7006 0.8201 
第 4 天 0.4557 0.4790 0.7019 0.8211 
第 5 天 0.4601 0.4811 0.7101 0.8298 
第 6 天 0.4612 0.4845 0.7188 0.8312 
第 7 天 0.4615 0.4891 0.7201 0.8330 




















荷 作为 目标 向 量 ， 第 七 天 的 数据 作为 网 络 的 测试 数据 。 
完整 的 MATLAB 代码 如 下 : 
% 根 据 预 测 方法 得 到 输入 向 量 和 目标 向 量 
了 P=[0.4413 0.4707 0.6953 0.8133 0.4379 0.4677 0.6981 0.8002 0.4517 0.4725 0.7006 0.8201; 
0.4379 0.4677 0.6981 0.8002 0.4517 0.4725 0.7006 0.8201 0.4557 0.4790 0.7019 0.8211; 
0.4517 0.4725 0.7006 0.8201 0.4557 0.4790 0.7019 0.8211 0.4601 0.4811 0.7101 0.8298;] ; 
T=[0.4557 0.4790 0.7019 0.8211; 
0.4601 0.4811 0.7101 0.8298; 
0.4612 0.4845 0.7188 0.8312]'; 
% 输 入 向 量 的 取 值 范围 为 [0 ]， 用 threshold 来 标记 
threshold=[0 1;0 1;0 1;0 1;0 130 1;0 1:0 1:0 1:0 1:0 1;0 1]; 
% 创 建 一 个 Elman 神经 网 络 ， 隐 含 层 的 神经 元 个 数 为 17 个 ，4 个 输出 层 神经 元 ， 隐 含 层 激活 函 
%% 数 为 tansig， 输 出 层 激活 函数 为 purelin 
net=newelmkthreshold,[17,4],ftansig',purelin'}); 
net.trainParam.epochs=3000; 
net=init(net); 
net=train(net,P,T); 
% 输 入 测试 数据 
P_test=[0.4557 0.4790 0.7019 0.8211 0.4601 0.4811 0.7101 0.8298 0.4612 0.4845 0.7188 0.8312]'; 
T_test=[0.4615 0.4891 0.7201 0.8330]'; 
ysim(nebP_test) 
% 在 测试 数据 下 ， 计 算 网 络 的 输出 和 实际 目标 向 量 之 间 的 差 什 
error=y-T_test; 
% 在 坐标 平面 上 画 出 差 值 曲线 
plot(1:4,error'-); 





程序 运行 后 ， 得 到 图 2-8-2， 命 令 行 窗 口中 的 结果 如 下 : 












由 输出 结果 可 以 看 出 ， 经 过 3000 次 训练 后 ， 网 络 训 绮 2.6293e-005， 虽 然 没有 达 为 到 目 
标 误 差 的 默认 值 0， 不 过 已 经 足够 小 了 。 由 输出 的 y 值 与 实际 负荷 值 的 比较 和 误差 曲线 图 ， 网 络 的 


预报 误差 是 比较 小 的 , 只 是 在 个 别 时 间 出 现 相对 较 大 的 这 是 因为 训练 样本 数据 太 小 押 造 成 的 。 


Training with TRAINGDX 忘 加 xj| 


Ele Edt View Insert TIooks window Help 








0.02 





0.015 








图 2-8-2 训练 误差 曲线 
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2.9 Hopfield 神经 网 络 模型 与 学 习 算法 


Hopfield 网 络 是 神经 网 络 发 展 历史 上 的 一 个 重要 的 里 程 碑 。 Hopfield 神经 网 络 是 1982 年 美国 物 
理学 家 JHopfield 首先 提出 来 的 ， 属 于 反馈 神经 网 络 类 型 。 与 前 向 型 神经 网 络 不 同 ， 前 向 神经 网 络 
不 考虑 输出 与 输入 之 问 在 时 间 上 的 滞后 影响 ， 其 输出 与 输入 之 间 仅 仅 是 一 种 映射 关系 。 而 Hopfield 
网 络 则 不 同 ， 它 采用 反馈 连接 ， 考 虑 输出 与 输入 在 时 间 上 的 传输 延迟 ， 所 表示 的 是 一 个 动态 过 程 ， 
需要 用 差分 或 微分 方程 来 描述 ， 因 而 Hopficld 网 络 是 一 种 由 非 线性 元 件 构成 的 反馈 系统 ， 其 稳定 状 
态 的 分 析 比 前 向 神经 网 络 要 复杂 得 多 。 

Hopfield 用 能 量 函 数 的 思想 形成 了 一 种 新 的 计算 方法 ， 阐 明了 神经 网 络 与 动力 学 的 关系 ， 并 用 
非 线性 动力 学 的 方法 来 研究 这 种 神经 网 络 的 特性 ， 建 立 了 神经 网 络 稳定 性 判 据 ， 并 指出 信息 存储 在 
网 络 各 个 神经 元 之 间 的 连接 上 , 形成 了 所 谓 的 Hopfield 网 络 。 Hopfield 还 将 该 反馈 网 络 同 统计 物理 
中 的 lsing 模型 相 类 比 ， 把 磁 旋 的 向 上 和 向 下 方向 看 成 神经 元 的 激活 和 抑制 两 种 状态 , 把 磁 旋 的 相互 
作用 看 成 神经 元 的 突 触 权 值 。 这 种 类 推 为 大 量 的 物理 学 理论 和 许多 的 物理 学 家 进入 神经 网 络 领 域 铺 
平 了 道路 。1984 年 ，Hopfield 设计 并 研制 了 Hopfleld 网 络 模型 的 电路 ， 指 出 神经 元 可 以 用 运算 放大 
器 来 实现 , 所 有 神经 元 的 连接 可 用 电子 线路 来 模拟 , 称 之 为 连续 Hopficld 网 络 。 使 用 该 电路 , Hopfleld 
成 功 地 解决 了 旅行 商 (TSP) 计 算 难 题 (优化 问题 )。 





2.9.1 离散 Hopfield 神经 网 络 


1982 年 Hopfield 提出 离散 的 Hopfield 网 络 同 前 向 神经 网 络 相 比 , 在 网 络 结构 、 学 习 算 法 和 运行 
规则 上 都 有 很 大 的 不 同 。 

1. 离 散 Hopfield 网 络 模型 

离散 Hopfield 网 络 是 单 层 全 互 连 的 ， 其 表现 形式 如 图 2-9-1、2-9-2 所 示 的 两 种 形式 。 
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图 2 -17 Hopfcld 神 铬 网 络 结构 





-18 Hopfield 
神经 元 可 取 一 位 《0/1) 或 CID， 其 中 的 任意 神经 元 i 与 j 间 的 突 触 权 值 为 ”y ， 神 经 元 之 问 联 


接 是 对 称 的 ， 即 八 = ” ， 神 经 元 自身 无 联接 ， 即 邓 =0。 虽 然 神经 元 自身 无 联接 ， 但 每 个 神经 元 都 
同 其 它 的 神经 元 相连 ， 即 每 个 神经 元 都 将 其 输出 通过 突 触 权 值 传递 给 其 
元 又 都 接收 其 它 神经 元 传 来 的 信息 ， 这 样 对 于 每 个 神经 元 来 说 ， 其 输出 信号 经 过 
能 反馈 给 自己 ， 所 以 Hopfield 网 络 是 一 种 反馈 神经 网 络 。 






设 Hopfield 网 络 中 有 nm 个 神经 元 ， 其 中 任意 神经 元 ;的 输入 用 忆 表 示 ， 输 出 用 世 表 示 ， 它 们 都 


是 时 间 的 函数 ， 其 中 Y(2) 也 称 为 神经 元 ?在 1 时 刻 的 状态 。 


69 





VOD= > wu(D+ 久 (2-7) 
7 


名 
上 式 中 的 和 表示 神经 元 ;的 阔 值 或 偏差 。 相 应 神经 元 ;的 输出 或 状态 为 

VC+D=Rui(OD) 
其 中 的 激励 函数 依 ] 可 取 阶 跃 函数 2) 或 符号 函数 Sgn(D) )。 如 取 符 号 函数 ， 则 Hopfield 网 络 的 


神经 元 的 输出 世人 t+ D) 取 离 散 值 1 或 -1， 即 


1 ww(D+ 训 >0 
Je=1 


本 


V(t+]D)= 守 (2-8) 
-1 ww(DO+<0， 
jl 

2. 离 散 Hopficld 网 络 的 运行 规则 

Hopfield 网 络 按 动力 学 方式 运行 ， 其 工作 过 程 为 状态 的 演化 过 程 ， 即 从 初始 状态 按 “ 能 量 ” 
(Lyapunov 函数 ) 减 小 的 方向 进行 演化 ， 直 到 达到 稳定 状态 ， 稳 定 状态 即 为 网 络 的 输出 。 

Hopfield 网 络 的 工作 方式 主要 有 两 种 形式 : 

(1) 串 行 (异步 ) 工 作 方式 在 任 一 时 刻 !， 只 有 某 一 神经 元 (随机 的 或 确定 的 选择 ) 依 上 式 变化 ， 
而 其 它 神经 元 的 状态 不 变 。 

(2) 并 行 (同步 ) 工 作 方式 在 任 一 时 刻 ! ， 部 分 神经 元 或 全 部 神经 元 的 状态 同时 改变 。 

下 面 以 串 行 (异步 ) 工 作 方式 为 例 说明 Hopfield 网 络 的 运行 步骤 ， 

第 一 步 对 网 络 进行 初始 化 ; 


第 二 步 从 网 络 中 随机 选取 一 个 神经 元 站 


第 三 步 按 公式 (2-7) 求 出 该 神经 元 i 的 输入 世 (D) 
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第 四 步 按 公式 (2-8) 求 出 该 神经 元 i 的 输出 芯 ( 士 D ,此 时 网 络 中 的 其 他 神经 元 的 输出 保持 不 变 ; 
第 五 步 ， 判 断 网 络 是 香 达到 稳定 状态 ， 若 达到 稳定 状态 或 满足 给 定 条 件 则 结束 ， 埋 则 转 到 第 一 
步 继续 运行 。 
这 里 网 络 的 稳定 状态 定义 为 : 若 网 络 从 某 一 时 刻 以 后 ， 状 态 不 再 发 生变 化 ， 则 称 网 络 处 于 稳定 
状态 。 
vL+ADJ)=v0 At>0 
Hopfield 网 络 存 在 稳定 状态 ， 则 要 求 Hopfield 网 络 模型 满足 如 下 条 件 ， 网 络 为 对 称 连 接 ， 即 


多 二 和， 神经 元 自身 无 连接 即 Wu 。 这 样 Hopfield 网 络 的 突 触 权 值 矩 阵 w 为 零 对 角 对 称 和 矩阵 。 

在 满足 以 上 参数 条 件 下 ，Hopfield 网 络 “ 能 量 函 数 ”(Lyapunov 函数 ) 的 “能 量 ” 在 网 络 运行 过 
程 中 应 不 断 地 降低 ， 最 后 达到 稳定 的 平衡 状态 。 

Hopfield 网 络 的 “能 量 函 数 ” 定 义 为 


二 
-1 立 ww + 袜 o 
[元 一 ] ] 


Hopfield 反馈 网 络 是 一 个 非 线性 动力 学 系统 ，Hopfield 网 络 按 动 力学 方式 运行 ， 即 按 “ 能 量 函 
数 ” 减 小 的 方向 进行 演化 ， 直 到 达到 稳定 状态 。 因 而 上 式 廊 定义 的 “能 量 函数 ” 值 应 单调 减 小 。 为 
说 明 这 一 问题 ， 可 考虑 网 络 中 的 任意 神经 元 ， 其 能 量 函 数 为 





六 


BE, = +DV 
河 


全 


从 ! 时 刻 至 !+1 时 刻 的 能 量变 化 量 为 
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AE,=EIC+D-E,(D) 


=- 袜 wwC+rDw 0+D+IwwOw 一 名 
气 所 


Ht 


=-J5e+D-vO] wav 十 户 
=1 


fe 


由 上 式 可 得 ，AE,<0 


因为 神经 元 1 为 网 络 中 的 任意 神经 元 ， 而 网 络 中 的 所 有 神经 元 都 按 同 一 规则 进行 状态 更 新 ， 所 
以 网 络 的 能 量变 化 量 应 小 于 等 于 零 ， 即 
AE<0 
E(L+D<E(OD 
所 以 在 满足 参数 条 件 下 ，Hopfield 网 络 状态 是 向 着 能 量 函 数 减 小 的 方向 演化 。 由 于 能 量 函 数 有 
界 ， 所 以 系统 必然 会 趋 于 稳定 状态 ， 该 稳定 状态 即 为 Hopfield 网 络 的 输出 。 能 量 函 数 的 变化 曲线 如 
图 2-9-3 所 示 ， 曲 线 含有 全 局 最 小 点 和 局 部 最 小 点 。 将 这 些 极 值 为 记忆 状态 ， 可 将 Hopfield 网 
络 用 于 联想 记忆 ;， 将 能 量 函数 作为 代价 函数 ， 全 局 最 小 点 看 成 最 优 解 ， 则 Hopficld 网 络 可 用 于 最 优 
化 计算 。 









有 


局 邦 税 小 值 局 帮 极 小 值 












2-19 能 量 函 数 局 部 极 小 值 
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2. 9. 2 连续 Hopfie1d 神经 网 络 


1984 年 Hopfield 采用 模拟 电子 线路 实现 了 连续 Hopfield 网 络 , 因为 该 网 络 中 神经 元 的 激励 函数 
为 连续 函数 ， 所 以 该 网 络 也 被 称 为 连续 Hopfield 网 络 。 在 连续 Hopfield 网 络 中 ， 网 络 的 输入 、 输 出 
均 为 模拟 量 ， 各 神经 元 采用 并 行 (同步 ) 工 作 方式 。 利 用 这 一 特征 Hopfield 将 该 网 络 应 用 于 优化 问题 
的 求解 上 ， 并 成 功 地 解决 了 TSP 问题 。 

1. 连 续 Hopfield 网 络 模型 

连续 Hopfield 神经 网 络 结构 如 图 2-9-4 所 示 : 







































As 口 王 一 











从 图 2-9-4 可 见 Hopfield 神经 网 络 中 的 每 个 神经 元 都 是 由 运算 放大 器 及 其 相关 的 电路 组 成 ， 其 
中 任意 一 个 运算 放大 器 ;或 神经 元 ) 都 有 两 组 输入 ， 第 一 组 是 恒定 的 外 部 输入 ， 用 也 表示 ， 这 相当 
于 放大 器 的 电流 答 入， 第 二 组 是 来 自 其 他 运算 放大 器 的 反馈 连接 ， 这 相当 于 神经 元 与 神经 元 了 之 
间 的 连接 权 值 。 汉 表示 运算 放大 器 :的 输入 电压 ， 思 表示 运算 放大 器 的 输出 电压 ， 它 们 之 间 的 关 
站 = 人 ou) 
其 激励 函数 依 ] 常 取 Sigmoid 型 函数 中 双 曲 线 正切 函数 ， 即 


1-expCao) 


二 二 
多 (2 ) 1+exp(-aab) 
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其 中 生 为 曲线 在 原点 处 的 斜率 ， 即 


双 _ do) 


2 dd 


=0 
因此 ， 称 qi 为 运算 放大 器 〈 或 神经 元 ) 的 增益 。 


激励 函数 f) 的 反 函 数 为 "0) 为 : 


1 1-V 
=f(w)=- 一 ! 
人 4 oa 


对 于 图 2-9-4 所 示 的 连续 Hopfield 神经 网 络 模型 ， 根 据 基 尔 霍 夫 电流 定律 有 





1 
一 二 机 二 上 二 罗 一 人 一世 二 坟 
(人 (一 0+7 
员 于 
人 翅 ) 十 万 一 本 
国人 ee 
其 中 的 Wi = 二， 设 二 = 一 +》 Wi ， 则 上 式 可 改写 为 : 
局 态 及 气 
cd 忆 四 
G 三 = 旋光 人 
与 离散 Hopfield 神经 网 络 相同 ， 连 续 Hopfield 网 络 的 突 触 权 值 是 对 称 的 ， 且 无 自 反 馈 ， 即 : 
鸣 =W， 赂 =0 


。 对 于 连续 Hopfield 神经 网 络 模型 ， 其 能 量 函数 定义 如 下 
民 1 和 
2 二 地 (的 ) 宫 - 记 友 


2. 连 续 Hopfield 网 络 稳定 性 分 析 
为 证 明 该 能 量 函 数 E 是 单调 下 降 的 ， 可 求 上 式 对 时 间 上 的 微分 ， 即 
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<E_dE_ di 2 
丰 ” 帮 
人 和 上 式 可 
艳 
- 旦 =- 字 G 2 
er df CO) dv 
re 
cd)d 
名 本 亚 
以 -1 
二 攻 ( 嘱 六 
ad 丰 


因为 全 '(vw ) 为 单调 递增 函数 ， 所 以 


有 : 
全 >oz| 儿 ] >0C >0， 
了 


因而 有 : 


由 于 能 量 函 数 E 是 有 界 的 ， 因 此 ， 连 续 Hopfield 网 络 模型 是 稳定 的 。 

连续 Hopfield 网 络 模型 对 生物 神经 元 模型 做 了 大 量 的 简化 ,但 仍 突出 了 生物 系统 神经 计算 的 主 
要 特性 ， 如 : 

1 连续 Hopfield 网 络 的 神经 元 作为 IO 变换 ， 其 传输 特性 具有 Sigmoid 特性 

2) 具 有 时 空 整合 作用 ， 

3) 在 神经 元 之 间 存 在 着 大 量 的 兴奋 性 和 抑制 性 联接 ， 这 种 联接 主要 是 通过 反馈 来 实现 ; 
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4) 具 有 既 代表 产生 动作 电位 的 神经 元 ， 又 有 代表 按 渐进 方式 工作 的 神经 元 ， 即 保留 了 动态 和 非 
线性 两 个 最 重要 的 计算 特性 。 

Hopfield 神经 网 络 经 常用 于 存储 一 个 或 者 多 个 稳定 的 目标 向 量 。 当 向 网 络 提供 输入 向 量 时 ， 存 
储 在 网 络 中 的 接近 于 输入 的 目标 向 量 就 被 唤醒 。Hopfield 神经 网 络 设计 的 目标 就 是 使 得 网 络 存储 一 
些 特定 的 平衡 点 ， 当 给 定 网 络 一 个 初始 条 件 时 ， 网 络 最 后 会 在 这 样 的 点 上 停 下 来 。 由 于 输出 又 被 反 
馈 到 输入 ， 记 以 一 旦 网 络 开始 运行 ， 整 个 网 络 就 是 递归 的 。 





2.9.3 Hopfiel1d 神经 网 络 的 MATLAB 实现 


表 2-9-1 列 出 了 MATLAB 神经 网 络 工具 箱 提 供 的 与 算法 相关 的 Hopfield 神经 网 络 工具 函数 和 基 
本 功能 。 在 MATLAB 工作 空间 的 命令 行 输入 “help hopfield”， 便 可 得 到 与 Hopficld 神经 网 络 相关 的 
函数 ， 进 一 步 利用 help 命令 又 能 得 到 相关 函数 的 详细 介绍 
表 2-9-1 Hopfield 网 络 的 重要 函数 和 基本 功能 


























函数 名 功能 

Satlin( ) 饱和 线性 传递 函数 

Satlins( ) 对 称 饱和 线性 传递 函数 

newhop( ) 生成 一 个 Hopfield 回归 网 络 
mnt2hop( ) 更 新 NNT 2.0 Hopfield 回归 网 络 





下 面 对 表 2-9-1 中 的 工具 函数 的 使 用 进行 说 明 ， 并 通过 一 个 识别 印刷 体 数字 的 实例 来 说 明 如 何 
利用 工具 函数 建立 一 个 Hopfield 神经 网 络 。 

1.Newhop() 

功能 : 生成 一 个 Hopfield 回归 网 络 。 


格式 : net= newhop(T) 
说 明 :， 式 中 net 为 生成 的 神经 网 络 ， 人 T 是 具有 Q 个 目标 向 量 的 





Rs*Q 和 矩 阵 (元 为 -1 或 1)。Hopfield 神经 网 络 经 常 被 应 用 于 模式 的 联想 记忆 中 。Hopfield 神经 
网 络 仅 有 一 层 ， 其 激活 函数 用 satlins( ) 函 数 ， 层 ER 自 它 自身 的 连接 权 和 阅 值 。 
2. Satlins( ) 


功能 : 对 称 饱和 线性 传递 函数 
格式 : A= satlins(N) 
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和 A 输出 向 量 矩 阵 ，N 是 由 网 络 的 输入 向 量 组 成 的 S*Q 和 矩阵， 返回 的 玫 阵 A 与 N 的 维 数 大 小 一 
致 ，A 的 元 素 取 值 位 于 区 间 [0，J1] 内 。 当 N 中 的 元 素 介 于 -1 和 1 之 问 时 ， 其 输出 等 于 输入 ， 当 输入 
值 小 于 -1 时 返回 -1， 当 输入 值 大 于 1 时 返回 1。 

例子 2-8 设 印刷 体 数字 由 10x 10 点 阵 构成 ， 就 是 将 数字 分 成 很 多 小 方块 ， 每 个 方块 就 对 应 数字 
的 一 部 分 ， 构 成 数字 本 部 分 的 方块 用 1 表示 ， 空 白 处 用 -1 表示 。 试 设计 一 个 Hopfield 网 络 ， 能 够 正 
确 识别 印刷 体 的 数字 。 

从 简洁 的 角度 出 发 ， 下 面 将 只 给 出 1 和 2 的 点 阵 表示 形式 ， 完 整 的 MATLAB 代码 如 下 : 

% 数 字 1 的 点 阵 表示 

one=[-1-1-11111-1-1-1-1-1-11111-1-1-1 -1-1-11111-1-1-1-1-1-11111-1-1-! 
-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-11111-1-1-1-1-1-111 
于 二 

% 数 字 2 的 点 阵 表示 

two=[11111111-1-111111111-1-1-1-1-1-1-1-111-1-1-1-1-1-1-1-111-1-111 
LT 
本 

吧 设 定 网 络 的 目标 向 量 

T=[one;two]'; 

吧 创 建 一 个 Hopfield 神经 网 络 

net=newhop(T); 

% 给 定 一 个 受 噪声 污染 的 数字 2 的 点 阵 ， 所 谓 噪声 是 指数 字 点 阵 中 某 些 本 应 为 1 的 方块 变 成 了 

%-1 

ao2=tlllt-I11L-D1-1-1 11311111-12 201-LL-1-I1L-L-L2L-LLIL-ITLE-HI 
liiiirirI-IILIL--L 11-1-1-L-L-L-L-1-I1L-bisLL-i-I-iIIILLIILI 


了 ET] 息 
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% 对 网 络 进行 仿真 ， 网 络 的 仿真 步 数 为 $ 

tn2 -simCneb{1L5},fno2) 

% 输 出 仿真 结果 向 量 矩 阵 中 的 第 3 列 向 量 ， 并 将 其 转 置 
tu213) 

程序 运行 后 ， 在 命令 行 窗口 得 到 下 面 的 结果 : 

ans = 


Columns 1 through 21 


Columns 43 through 63 
1 1 1 1 1 1 -1 -1 1 1 1 1 1 


1 1 1 -1 -1 1 -1 


由 结果 可 以 看 出 廊 得 到 的 点 阵 与 数字 2 的 正常 点 阵 是 一 致 的 ， 表 明 网 络 可 以 从 受到 污染 的 数字 
2 的 点 阵 中 识别 出 数字 2， 证 明 网 络 是 有 效 的 。 
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2.10 Boltzmann 神经 网 络 模型 与 学 习 算 法 


20 世纪 80 年 代 ，Ackley、Hinton 和 Sejnowski 等 人 以 模拟 退火 思想 为 基础 ， 对 Hopfield 模型 引 
入 了 随机 机 制 ， 提 出 了 Boltzmann 机 。Boltzmann 机 是 第 一 个 受 统计 力学 启发 的 多 层 学 习 机 ， 它 是 
一 类 典型 的 随机 神经 网 络 ， 属 于 反馈 神经 网 络 类 型 。 其 命名 来 源 于 Boltzmann 在 统计 热力 学 中 的 早 
期 工作 和 网 络 本 身 的 动态 分 布 行为 (其 平衡 状态 服从 Boltzmann 分 布 ), 并 且 Boltzmann 机 的 运行 机 制 
服从 模拟 退火 算法 。Boltzmann 机 结合 BP 网 络 和 Hopfield 网 络 在 网 络 结构 、 学 习 算 法 和 动态 运行 机 
制 的 优点 ， 具 有 多 层 网 络 含义 的 网 络 结构 、 简 易 而 有 效 的 学 习 算法 以 及 依 概率 方式 工作 的 动态 运行 
机 制 。 





2. 10. 1Boltzmann 机 的 网 络 结构 


Boltzmann 机 网 络 结构 如 图 2-10-1 所 示 。Boltzmann 机 由 输入 部 、 输 出 部 和 中 间 部 构成 。 输 入 
部 和 输出 部 神经 元 统称 为 显 见 神 是 网 络 与 外 部 环境 进行 信息 交换 的 媒介 ， 中 间 部 的 神经 元 称 
为 隐 见 神经 元 ， 它 们 通过 显 见 神经 元 与 外 界 进行 信息 交换 ， 但 Boltzmann 机 网 络 没有 明显 的 层次 。 
另外 ，Boltzmann 机 考虑 到 Hopfield 网 络 的 动态 特性 ， 其 神经 元 是 互联 的 ， 网 络 状态 按照 概率 分 布 
进行 变化 。 











图 2-21 Boltzmann 机 的 网络 结构 


与 Hopfield 网 络 一 样 ， 网 络 中 每 一 对 神经 元 之 间 的 信息 传递 是 双向 对 称 的 ， 即 7， 而 且 


自身 无 反馈 ， 即 % 一 0 。 学 习 期 间 ， 显 见 神经 元 将 被 外 部 环境 “约束 ”在 某 一 特定 的 状态 ， 而 中 间 
部 隐 见 神经 元 则 不 受 外 部 环境 约束 。 
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Boltzmann 机 中 每 个 神经 元 的 兴奋 或 抑制 具有 随机 性 ， 其 概率 取决 于 神经 元 的 输入 。Boltzmann 
机 中 单个 随机 神经 元 的 模型 如 图 2-10-2 所 示 。 





图 中 世 表 示 与 神经 元 y 相连 接 的 神经 元 的 输出 ， 神 经 元 7 的 全 部 输入 信号 的 总 和 为 “， 由 下 式 
给 出 。 


刀 = w+ 
7 


式 中 包 是 该 神经 元 的 闪 值 。 将 包 看 作 连接 权 值 为 1 的 输入 ， 可 以 将 包 归并 到 总 的 加 权 和 中 
去 ， 即 得 到 下 式 ; 


有 (2-9) 


神经 元 7 的 输出 % 依 概 些 取 1 或 0: 
7 取 1 的 概率 ，P(w =D= II+e” ) 区 


7 


刀 取 0 的 概率 : P(w =0=1-Pw =D=e”%” Pi=1l 


(2-11) 
显然 ，“ 越 大 ， 则 ”/ 取 1 的 概率 越 大 ， 而 取 0 的 概率 越 小 ， 参 数 卫 称 为 “温度 ” 对 ” 取 1 


或 0 的 概率 有 影响 。 在 不 同 的 温度 下 ”7 取 1 的 概率 P 随 % 的 变化 如 图 2-10-3 所 示 。 
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图 2-23 户 -5 关系 协 线 


从 图 2-10-3 可 见 ， 卫 越 高 时 ， 曲 线 越 绊 滑 ， 因 此 ， 即 使 % 有 很 大 变动 ， 也 不 会 对 ”7 取 1 的 概 
率 变化 造成 很 大 的 影响 , 反之 ， 了 越 低 时 ， 曲 线 越 陡峭 ， 当 允 有 稍 许 变动 时 就 会 使 概率 有 很 大 差异 ， 


当 卫 趋向 于 0 时 ， 每 个 神经 元 不 再 具有 随机 特性 ， 而 且 有 确定 的 特性 ， 激 励 函数 变 为 阶 跃 函数 ， 这 
时 Boltzmann 机 趋向 于 Hopfield 网 络 。 从 这 个 意义 上 来 说 ，Hopficld 网 络 是 BoIbmann 机 的 特例 。 


2. 10. 2Boltzmann 机 学 习 算 法 


将 Boltzmann 机 视 为 一 动力 系统 , 利用 公式 可 以 证 明 能 量 函 数 的 极 小 值 对 应 系统 的 稳定 平衡 点 ， 
由 于 能 量 函 数 有 界 ， 当 网 络 温度 了 以 某 种 方式 连 渐 下 降 到 某 一 特定 值 时 ， 系 统 必 趋 于 稳定 状 。 将 需 
要 求解 的 优化 问题 的 目标 函数 与 网 络 的 能 量 函数 相对 应 ， 神 经 网 络 的 稳定 状态 就 对 应 优化 目标 的 极 
小 值 。 根 据 不 同 的 用 途 ，Boltzmann 的 学 习 算法 可 以 分 为 状态 更 新 算法 和 联想 记忆 算法 ， 前 者 主要 
用 于 解决 优化 组 合 问题 ， 后 者 主要 用 于 解决 依依 照 一 定 概率 重 现 记 忆 的 问题 。 下 面 将 只 介绍 应 用 比 
较 多 的 状态 更 新 算法 。 





设 Boltzmann 机 网 络 有 入 个 神经 元 ， 各 神经 元 之 间 的 连接 权 值 为 败 信 7 一] 2… 。 ， 各 神经 


元 的 入土 值 为 名 ， 输 出 为 芷 ， 神 经 元 的 内 部 状态 为 系 ， 网 络 初始 温度 为 瑟 ， 目 标 温度 了 。 算 法 
具体 步骤 如 下 : 
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1 网 络 初始 化 给 邮 和 名 冉 [1，1] 之 间 的 随机 数 ， 置 W 一 7r ， 设 定 目标 温度 了 的 值 。 
2 求解 内 部 状态 从 N 个 神经 元 中 随机 选取 一 个 神经 元 站 ,根据 下 式 求解 出 神经 元 z 的 输入 总 和 ， 
即 内 部 状态 。 
压 (D= 2 由 (D+ 扇 


1 
3. 更 新 神经 元 i 状 态 根据 下 面 公式 更 新 神经 元 的 状态 : 


1 


P[v(+D=H= TECH 


当 也 (DOD>0 时 VCt+D=1 当 五 (0 <0 


， 直 接 令 时 ， 则 产生 一 个 位 于 [0.0.5] 内 的 随机 数 <， 


如 果 P[v(t+D= 了 >s(OD) 时 ， 令 wCL+D=1 否则 令 WC+ D=V(CD) ， 


4. 除 外 的 神经 元 的 输出 状态 保持 不 变 即 除 : 外 的 神经 元 的 状态 由 下 面 公式 求解 得 出 : 


vt+D=VvGOD 7=L2… 攻 
5. 令 1=!+1， 按 照 下 式 计算 出 新 的 温度 参数 : 


马 
7(t+D = - 
(9 log(L+1D 





6 第 5 步 计算 出 的 温度 参数 是 理 小 于 目标 温度 4 ， 小 于 目标 温度 则 算法 结束 ， 埋 则 返回 2， 进 
入 下 一 轮 计 算 。 

在 MATLAB 的 工具 箱 中 ， 没 有 Boltzmann 神经 网 络 的 相关 函数 ， 读 者 可 以 在 学 习 第 4 章 后 ， 
根据 自己 的 需要 ， 利 用 MATLAB 中 的 数学 计算 函数 来 扩展 nnToolKit 工具 包 ， 实 现 Boltzmann 神经 
网 络 的 学 习 算法 ， 完 成 自己 特定 的 需要 。 
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2.11 模糊 神经 网 络 


模糊 神经 网 络 是 近年 来 智能 控制 与 智能 自动 化 领域 的 热点 ， 美 国 早 在 1988 年 就 召开 了 由 
NASA( 国 家 航天 航空 局 ) 主 持 的 “神经 网 络 与 模糊 系统 ”的 国际 研讨 会 ， 其 后 模糊 神经 网 络 的 研究 在 
美国 、 日 本 、 法 国 、 加 拿 大 、 新 加 坡 等 国 蓬勃 开展 起 来 ， 成 果 大 量 涌现 。 

模糊 系统 是 模糊 数学 在 自动 控制 、 信 息 处 理 、 系 统 工程 等 领域 的 应 用 ， 属 于 系统 论 的 范畴 ， 而 
神经 网 络 是 人 工 智能 的 一 个 分 支 ， 属 于 计算 机 科学 。 模 糊 系统 试图 描述 和 处 理 人 的 语言 和 思维 中 存 
在 的 模糊 性 概念 ， 从 而 模仿 人 的 智能 。 神 经 网 络 则 是 根据 人 脑 的 生理 结构 和 信息 处 理 过 程 ， 来 创造 
人 工 神经 网 络 ， 其 目的 也 是 模仿 人 的 智能 。 模 仿 人 的 智能 这 是 它们 共同 的 奋斗 目标 和 合作 的 基础 。 

从 知识 的 表达 方式 来 看 ， 模 糊 系 统 可 以 表达 人 的 经 验 性 知识 ， 便 于 理解 ， 而 神经 网 络 只 能 描述 
大 量 数据 之 间 的 复杂 函数 关系 ， 难 于 理解 从 知识 的 存储 方式 来 看 ， 模 糊 系 统 将 知识 存在 规则 集中 
神经 网 络 将 知识 存在 权 系数 中 ， 都 具有 分 布 存储 的 特点 ;从 知识 的 运用 方式 来 看 ， 模 类 系统 和 神经 
网 络 都 具有 并 行 处 理 的 特点 ， 模 糊 系 统 同时 激活 的 规则 不 多 ， 计 算 量 小 ， 而 神经 网 络 涉及 的 神经 元 
很 多 ， 计 算 量 大 ， 从 知识 的 获取 方式 来 看 ， 模 糊 系统 的 规则 车 专 家 提供 或 设计 ， 难 于 自动 获取 ,而 
神经 网 络 的 权 系数 可 由 输入 输出 样本 中 学 习 ， 无 需 人 来 设置 。 因 此 将 两 者 结合 起 来 ， 在 处 理 大 规模 
的 模糊 应 用 问题 方面 将 表现 出 优良 的 效果 。 








2. 10. 1 模糊 神经 网 络 主要 形式 


根据 模糊 系统 (Fuzzy System， 简 称 为 FS) 和 神经 网 络 连接 的 形式 和 使 用 功能 ， 两 者 融合 可 分 为 
下 列 三 种 形式 : 

(0D 松散 型 结合 

在 一 个 系统 中 ,对 于 可 用 “Ifthen ”规则 来 表示 的 部 分 , 用 模糊 系统 描述 ， 而 对 很 难 用 “If-then” 
规则 表示 的 部 分 ， 则 用 神经 网 络 ， 两 者 之 问 没 有 直接 联系 。 

(2) 并 联 型 结合 

模糊 系统 和 神经 网 络 在 系统 中 按 并 联 方式 连接 ， 即 享有 共同 的 输入 。 按 照 两 系统 起 的 作用 的 轻 
重 程度 ， 还 可 分 为 同等 型 和 补助 型 ， 如 图 2-11-1 所 示 。 在 同等 型 中 ， 系 统 的 输出 由 两 者 共同 确定 ， 
而 在 补助 型 中 ， 系 统 的 输出 主要 由 子 系统 1( 可 以 是 FS 或 神经 网 络 ) 确 定 ， 而 子 系统 2 的 输出 起 补偿 
作用 。 这 种 情况 往往 是 在 周围 环境 产生 变化 时 , 子 系统 1 的 输出 会 产生 偏差 ， 需 要 子 系统 2 的 补偿 。 
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输入 




















一 子 系统 2 





(b) 补助 型 
图 2-24 并 联 模型 


(G3) 串联 型 结合 

模糊 系统 和 神经 网 络 在 系统 中 按 虽 联 方式 连接 ， 即 一 方 的 输出 成 为 另 一 方 的 输入 ， 这 种 情况 可 
看 成 是 两 段 推理 或 者 串联 中 前 者 为 后 者 输入 信和 号 的 预 处 理 部 分 。 例 如 用 神经 网 络 从 原 输入 信号 提取 
有 效 的 特征 量 ， 作 为 模糊 系统 的 输入 ， 这 样 可 使 获取 模糊 规则 的 过 程 变 得 容易 。 





2. 11. 2 模糊 神经 网 络 模型 


基于 模糊 逻辑 系统 的 标准 前 馈 模 精神 经 网 络 结构 如 图 2-11-2 所 示 。 
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图 2-25 基于 标准 模型 的 模糊 神经 网 络 的 结构 


该 模糊 神经 网 络 是 多 层 网 络 ， 除 了 输入 结 点 层 和 输出 结 点 层 外 ， 还 有 多 个 隐 含 层 ， 相 邻 两 层 之 
间 都 有 连接 ， 且 每 个 连接 都 对 应 于 一 个 权 值 。 该 模糊 神经 网 络 共 有 五 层 : 
接 与 输入 向 量 x 连 接 ， 将 输入 值 工 = [8 -传送 到 下 一 层 。 
最 均 定义 有 症 个 模糊 集合 , 则 此 层 内 共有 mx m 个 结 点 ,分 为 m 组 


(D 输入 层 该 层 有 Dm 个 结 
(2) 模糊 化 层 若 每 个 输入 


每 组 巴 个 结 点 。 第 ;组 的 上 个 结 点 输入 都 是 交 ， 其 输出 分 别 是 各 输入 量 属 于 输出 值 模糊 集合 的 隶属 






度 函 数 好 人) 人 人 ) 代 表 世 的 第 了 个 模 类 集合。 隶属 函 数 通常 为 高 斯 函数 
G3) 规则 层 其 每 个 结 点 代表 一 条 模糊 规则 ， 它 的 作用 是 用 来 匹配 模 黎 规则 的 前 件 ， 计 算出 每 条 
规则 的 使 用 度 ， 即 ， 





外 
(4) 去 模糊 层 该 层 的 作用 实现 归 一 化 计算 ， 即 : 
-= 忌 
2aw 


实现 的 是 清晰 化 计算 ， 并 采用 加 权 平均 法 ， 即 : 





(5) 输出 层 
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疡 5 
2 之 用 0 
2 


2. 11. 3 模糊 神经 网 络 学 习 方法 


模糊 学 习 是 一 种 以 模糊 理论 为 基础 的 学 习 方 法 。 这 种 学 习 方法 的 特点 是 学 习 过 程 用 模糊 量 进行 
测量 和 计算 ， 即 输入 量 是 经 过 模糊 化 后 的 模糊 量 。 以 连接 权 作为 参数 的 输入 与 输出 的 映射 关系 也 是 
一 种 模糊 集合 的 运算 关系 。 

常见 的 模糊 学 习 算法 主要 有 两 类 : 一 类 是 模糊 规则 的 提取 学 习 算法 。 模 糊 规则 的 提取 指 从 给 定 
的 输入 输出 模糊 数据 对 中 发 现 其 对 应 的 映射 关系 或 关联 关系 , 这 也 可 以 认为 是 数据 挖掘 的 一 项 任务 。 
若 给 出 的 仅 有 模糊 输入 而 无 相应 的 模糊 输出 ， 则 对 输入 向 量 一 般 需 要 进行 模糊 聚 类 或 对 模糊 输入 空 
间 的 划分 。 如 模糊 竞争 学 习 算 法 即 为 此 类 学 习 算法 ， 模 糊 规则 的 学 习 还 可 以 是 事先 人 为 地 给 出 一 个 
较 粗 的 模糊 规则 ， 然 后 利用 学 习 样本 反复 修正 这 一 模糊 规则 ， 进 行 逐步 优化 。 另 一 类 模糊 学 习 算法 
是 利用 模糊 控制 方法 不 断 改善 神经 元 网 络 的 性 能 ， 如 模糊 BP 算法 等 ， 在 传统 的 学 习 算 法 中 ， 权 值 
的 修改 是 按照 模型 的 特点 和 相应 的 规则 进行 的 ， 如 连续 模型 的 梯度 下 降 法 ， 学 习 速 度 的 控制 可 采用 
模糊 规则 方法 进行 控制 ， 方 法 简单 ， 易 理解 。 另 外 ， 对 于 难以 采用 梯度 法 的 离散 问题 的 学 习 ， 模 糊 
规则 方法 也 能 奏效 。 近 年 来 ， 将 模糊 规则 渗透 到 遗传 算法 中 ， 记 构成 的 各 种 模糊 遗传 算法 已 开始 得 
到 人 们 的 重视 。 












2. 11. 4 模糊 逻辑 MATLAB 函数 


在 MATLAB 模糊 逻辑 工具 箱 中 ， 提 供 了 有 关 模 型 神经 网 络 神经 系统 建 异 和 初始 化 模糊 推理 系 
统 的 函数 ， 读 者 可 以 将 前 面 介绍 的 神经 网 络 工具 箱 函数 和 模糊 逻辑 工具 箱 结合 起 来 ， 完 成 自己 特定 
情况 的 应 用 需要 。 同 样 ， 也 可 以 利用 MATLAB 工具 箱 中 的 相关 函数 来 扩展 nnToolKit 工具 包 ， 制 做 
出 满足 自己 需要 的 完全 脱离 MATLAB 环境 的 工具 。 表 2-11-1 列 出 了 模糊 神经 系统 的 重要 函数 和 基 
本 功能 。 

表 2-11-1 模糊 神经 系统 函数 











函数 名 功能 
newfis() 创建 新 的 模糊 推理 系统 
readfis() 从 俩 盘 读 出 存储 的 模糊 推理 系统 





Setfis() 获得 模 枯 推 理 系统 的 特征 数据 
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writefis() 保存 模糊 推理 系统 

showfis() 显示 添加 注释 了 的 模糊 推理 系统 

setfis() 设置 模糊 推理 系统 的 特性 

plotfisO) 图 形 显示 模糊 推理 系统 的 输入 一 输出 特性 
addvar0) 添加 模 糊 语言 变量 

rmvar() 删除 模糊 语言 变量 

addmule0) 向 模糊 推理 系统 添加 模糊 规则 函数 
parsrule0 解析 模糊 规则 函数 

showrule0) 显示 模糊 规则 函数 

evalfis() 执行 模糊 推理 计算 函数 

defuzz0) 执行 输出 去 模糊 化 函数 

gensurf() 生成 模糊 推理 系统 的 输出 曲面 并 显示 函数 
anfis( ) 模糊 神经 系统 的 建 模 函 数 

genfis1() 采用 网 格 分 割 方式 生成 模糊 推理 系统 函数 
fem( ) 模糊 C- 均 值 聚 类 函数 

subclust( ) 减法 聚 类 函数 








genfis2() 





基于 减法 聚 类 的 模糊 推理 系统 建 模 函数 
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练习 题 


1. 本 章 中 各 种 神经 网 络 的 特点 是 什么 ? 各 适合 于 在 什么 情况 使 用 ? 

2. 查 阅 MATLAB 帮助 ， 熟 悉 本 章 中 各 种 神经 网 络 对 应 的 MATLAB 工具 函数 的 使 用 方法 。 
3. 学 习 率 7 在 神经 网 络 中 起 什么 作用 ? 如 何 确定 它 的 初始 值 ? 

4. 在 网 络 上 搜索 本 章 中 各 种 神经 网 络 的 一 个 应 用 实例 。 
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第 3 章 神经 网 络 优化 方法 


3.1 BP 网 络 学 习 算 法 的 改进 


标准 BP 算法 采用 的 是 最 速 梯度 下 降 法 修正 权 值 ， 训 练 过 程 从 某 一 起 点 沿 误差 函数 的 斜面 逐渐 
达到 最 小 点 使 之 误差 为 零 。 而 对 于 复杂 的 网 络 ， 误 差 曲面 在 多 维 空间 ， 这 就 象 一 个 碗 一 样 ， 碗 底 就 
是 最 小 点 。 但 这 个 确 的 表面 是 四 凸 不 平 的 ， 人 
向 多 方向 变化 均 会 使 误差 增加 ， 局 存 直 
输入 样本 的 顺序 有 关 、 收 敛 速度 缓慢 、 有 训 全 下 本 人。 为 了 克服 算法 中 的 不 足 ， 下 面 几 节 
将 给 出 一 些 改进 算法 ， 这 些 改进 算法 或 者 庆 少 了 输入 样本 顺序 的 影响 ， 或 者 收敛 速度 比 标准 梯度 法 
快 数 二 至 教育 人 

对 算法 产生 影响 的 主要 是 权 值 向 量 修改 方法 ， 在 下 面 的 改正 算法 中 ， 仅 给 出 了 权 任 
求 ， 算 法 的 其 它 浊 小 请 3.2 节 中 的 标准 BP 算法 。 下 面 的 改进 算法 3.1.1~3.1.4 与 
算法 的 原理 相同 ， 均 是 基于 梯度 下 降 法 的 算法 ， 改 进 算法 3.1.5~3.1.7 与 它们 不 同 ， 是 基 
的 这 些 改进 算法 不 仅 利用 了 误差 函数 的 一 阶 导 数 信息 ， 古 还 利用 : 了 误 差 函 孝 的 一 

。 在 本 节 中 ， 改 进 算法 的 MATLAB 实现 只 需要 
二 人 训练 函数 替换 ， 即 可 实现 改进 算法 ， 出 于 篇 幅 的 原因 ， 在 此 不 再 - 一 一 给 出 具体 MATLAB 
代码 。 












于 









量 修改 访 








3.1.1 消除 样本 输入 顺序 影响 的 改进 算法 


在 2.3.2 节 描 述 的 BP 网 络 标准 学 习 算法 ,在 每 输入 一 个 学 习 样本 后 ， 根 据 其 产生 的 误差 立即 对 
权 值 进行 调整 ， 必 于 在 线 学 习 方式 。 实 验 表明 ， 在 细 方式 时 ， 网 络 受 后 面 输入 样本 的 影响 较 大 ， 
芷 时， 会 影响 用 户 要 求 的 训练 精度 。 为 了 消除 这 种 样本 顺序 对 结果 的 影响 ， 可 以 采用 批 处 理学 习 
即使 用 一 批 学 习 样本 产生 的 总 误差 来 调整 权 值 ， 用 公式 表示 如 下 : 


Awi = 了 Aimi 


式 中 ， Zn Y 代表 连接 权 必 关 于 一 批 学 习 样本 的 调整 量 ， 表 示 由 所 有 学 习 样本 产 生 的 误差 ， 每 
一 个 样本 产生 的 权 值 调 整 量 可 由 2.3.2 节 中 相应 的 计算 公式 求 得 ,从 而 有 效 地 消除 样本 顺序 对 学 习 算 
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法 的 影响 。 仍 以 2.3.2 节 中 的 三 层 网 络 结构 为 例 ， 但 不 考虑 阔 值 的 调整 ， 消 除 样本 顺序 影响 的 BP 改 
进 算法 流程 如 下 : 


1 网 络 初始 化 给 ww 、 wu 分 别 赋 一 个 区 间 〈(-1，1) 内 的 随机 数 ， 设 定 误差 函数 


6 了 COD-wOO ， 给 定 计算 精度 值 2 和 最 大 学 习 次 数 M 。 
o=1 


2. 计 算 输 出 层 的 权 值 调整 值 输出 层 对 于 一 批 学 习 样 本 的 权 值 调整 值 按 下 式 计 算 : 
wo Wi 十 An 
3、 计 算 隐 含 层 的 权 值 调 整 值 。 隐 含 层 对 于 一 批 学 习 样本 的 权 值 调整 值 按 下 式 计算 : 
WwW 一 w+ Anwy 
4. 计 算 全 局 误差 妃 


下 = 工交》 -mw(D) 
271 1 o=1 


5. 判 断 网 络 误差 是 否 满 足 要 求 ， 当 已 <E 或 学 习 次 数 大 于 设 定 的 最 大 次 数 W ， 则 结束 算法 。 耕 
则 ， 返 回 到 第 2 步 ， 进 入 下 一 轮 学 习 过 程 。 

上 述 改进 算法 较 好 地 解决 了 因 样 本 输入 顺序 引起 的 精度 问题 和 训练 的 抖动 问题 。 但 是 ， 该 算法 
的 收敛 速度 相对 来 说 还 是 比较 慢 的 。 
3. 1. 2 附加 动量 的 改进 算法 


该 方法 是 在 反 向 传播 法 的 基础 上 在 每 一 个 权 值 〈 或 阔 值 ) 的 变化 上 加 上 一 项 正比 于 上 一 次 权 值 
(或 阔 值 ) 变化 量 的 值 ， 并 根据 反 向 传播 法 来 产生 新 的 权 值 〈 或 阔 值 ) 变化 。 
带 有 附加 动量 因子 的 权 值 调 节 公式 为 : 


Aw(k+D=(1-m.J7VRwCOD)+m COw(OOD 一 mw- 一 D) 


式 中 ，W 为 权 值 向 量 ， 上 为 训练 次 数 ，mme (0 和 me 和 了) 为 动量 因子 ， 一 般 取 095 左右 ， 了 为 
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学 习 率 ，Y 仅 wW(k)) 为 误差 函数 的 梯度 。 

附加 动量 法 的 实质 是 将 最 后 一 次 权 值 或 阔 值 ) 变化 的 影响 ， 通 过 一 个 动量 因子 来 传递 。 当 动 
晤 因子 取 值 为 零 时 ， 权 值 (或 阅 值 ) 的 变化 仅 是 根据 梯度 下 降 法 产生 ， 当 动量 因子 取 值 为 1 时 ， 新 
的 权 值 (或 阔 值 ) 变化 则 是 设置 为 最 后 一 次 权 值 《或 阔 值 ) 的 变化 ， 而 依 梯 度 法 产生 的 变化 部 分 则 
被 忽略 掉 了 。 由 此 可 以 看 出 民 ， 增 加 动量 项 后 ， 促 使 权 值 的 调节 向 着 误差 曲面 底部 的 平均 方向 变化 
当 网 络 权 值 进入 误差 曲面 底部 的 平坦 区 时 , 可 以 防止 Aw = 0 的 出 现 即 最 后 一 次 权 值 的 变化 量 为 0，， 


有 助 于 使 网 络 从 误差 曲面 的 局 部 极 小 值 中 跳出 。 但 对 于 大 多 数 实际 应 用 问题 ， 该 法 训练 速度 仍然 很 
慢 。 
MATLAB 中 的 工具 函数 traingdm(0) 即 对 应 于 附加 动量 法 。 


3.1.3 采用 自 适应 调整 参数 的 改进 算法 
采用 自 适应 调整 参数 的 改进 算法 的 基本 设想 是 学 习 率 了 应 根据 误差 变化 而 自 适应 调整 ， 以 使 权 


系数 调 下 向 误差 减 小 的 方向 变化 ， 其 迭代 过 程 可 表示 为 : 
w(E+D=w(6 一 TV fw(D) 





通过 研究 发 现 ， 在 一 定 范围 内 增 大 学 习 率 刀 ， 可 大 大 加 快 学 习 效率 ， 得 到 比 标准 BP 算法 更 快 


的 收敛 速度 。 然 而 ， 在 Y 食 wW(AD) 很 小 的 情况 下 ， 采 用 自 适应 调整 参数 的 改进 算法 仍然 存在 权 值 的 
修正 量 很 小 的 问题 ， 致 全 学 习 率 降低 。 

MATLAB 中 的 工具 函数 traingda() 即 对 应 于 自 适 应 调整 参数 法 。 
3. 1. 4 使 用 弹性 方法 的 改进 算法 

BP 网 络 通常 采用 Sigmoid 隐 含 层 。 当 输入 的 函数 很 大 时 ， 和 斜率 接近 于 零 ， 这 将 导致 算法 中 的 梯 
度 幅 值 很 小 ， 可 能 使 网 络 权 值 的 修正 过 程 几乎 停顿 下 来 。 弹 性 方法 只 取 偏 导数 的 符号 ， 而 不 考虑 偏 
导数 的 幅 值 。 其 权 值 修正 的 迭代 过 程 可 表示 为 : 

w+D=w(D-(w(D-w(E-D)sigz(YT(w(D) 


式 中 ，SiBm() 为 符号 函数 。 
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在 弹性 BP 算法 中 ， 当 训练 发 生 振荡 时 ， 权 值 的 变化 量 将 减 小 ， 当 在 几 次 迭代 过 程 中 权 值 均 朝 
一 个 方向 变化 时 ， 权 值 的 变化 量 将 增 大 。 因 此 ， 使 用 弹性 方法 的 改进 算法 ， 其 收敛 速 度 要 比 前 几 种 
方法 快 得 多 ， 而 且 算法 并 不 复杂 ， 也 不 需要 消耗 更 多 的 内 存 。 


3. 1.5 使 用 拟 牛 顿 法 的 改进 算法 


梯度 法 的 缺点 是 搜索 过 程 收 敛 速度 较 慢 ， 牛 顿 法 在 搜索 方向 上 比 梯度 法 有 改进 ， 它 不 仅 利用 了 
准则 函数 在 搜索 点 的 梯度 , 而 且 还 利用 了 它 的 二 次 导数 ,就 是 说 利用 了 搜索 点 所 能 提供 的 更 多 信息 ， 
使 搜索 方向 能 更 好 地 指向 最 优点 。 它 的 选 代 方 程 为 : 


Aw(kt+D=w(-DTVEKwUD)  D 为 fw) 的 二 阶 偏 导 数 矩 阵 


牛顿 法 是 一 种 常见 的 快速 优化 方法 ， 其 收敛 速度 比 一 阶梯 度 快 。 但 由 于 牛顿 法 中 用 到 Hessian 
和 抢 阵 〈 二 阶 导数 矩阵 )， 而 导致 计算 复杂 性 增加 。 而 拟 牛 顿 法 是 对 牛顿 法 进行 了 改进 的 一 类 无 需 计算 
- 阶 导数 及 其 逆 运 算 的 方法 ， 它 通常 是 利用 梯度 信息 或 一 个 近似 矩阵 去 盟 近 Hessian 矩阵 〈 二 阶 导 
数 窍 阵 )。 比 较 典 型 的 有 BFGS 拟 牛 顿 法 和 一 步 正 切 拟 牛 顿 法 。 

MATLAB 中 的 工具 函数 trainbfg0、trainoss0 即 对 应 拟 牛顿 法 中 的 BFGS 拟 牛顿 法 和 一 步 正 切 拟 
牛顿 法 。 














3. 1.6 基于 共 斩 梯 度 法 的 改进 算法 


梯度 下 降 法 收敛 速度 较 慢 ， 而 拟 牛 顿 法 计算 又 较 复杂 ， 而 共 三 梯度 法 则 力图 避免 两 者 的 缺点 。 
共 生 梯 度 法 也 是 一 种 改进 搜索 方向 的 方法 ， 它 是 把 前 一 点 的 梯度 乘 以 适当 的 系数 ， 加 到 该 点 的 梯度 
上 ， 得 到 新 的 搜索 方向 。 其 和 欠 代 方 程 为 : 


Aw(k+D= w(+P(ESOD 
式 中 ，p( 昌 是 最 佳 步 长 ,S(6) = -VYfKw(6D)+v(E-DSK-D 
__YKwCo 站 


FJ= 
"TaAwk=0 


共 斩 梯 度 法 比 大 多 数 常规 的 梯度 下 降 法 收敛 快 ， 并 且 只 需 增 加 很 少 的 存储 量 和 计算 量 。 对 于 权 
值 很 多 的 网 络 ， 采 用 共 辆 梯度 法 不 失 为 一 种 较 好 的 选择 。 
MATLAB 中 的 工具 函数 traincgb0)、traincgfD)、traincgpO 即 对 应 于 共 斩 梯 度 法 。 
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3.1.7 基 于 Levenberg-Marquardt 法 的 改进 算法 


众所周知 ， 梯 度 下 降 法 在 最 初 几 步 下 降 较 快 ， 但 随 着 接近 最 优 值 ， 由 于 梯度 趋 于 零 ， 致 使 误差 
函数 下 降 缓 慢 ， 而 牛顿 法 则 可 在 最 优 值 附 近 产 生 一 个 理想 的 搜索 方向 。Levenberg-Marquardt 法 实际 
上 是 梯度 下 降 法 和 牛顿 法 的 结合 ， 它 的 优点 在 于 网 络 权 值 数目 较 少 时 收 义 非 常 迅 速 。 应 用 
Levenberg-Marquardt 优化 算法 比 传统 的 BP 及 其 它 改进 算法 〈 如 共 生 梯 度 法 ， 附 加 动量 法 、 自 适应 
调整 法 及 拟 牛顿 法 等 ) 迭代 次 数 少 ， 收 敛 速度 快 ， 精 确 度 高 。 因 此 ，Levenberg-Marquardt 优化 算法 
在 BP 网 络 学 习 中 具有 一 定 优越 性 。 在 MATLAB 神经 网 络 仿真 工具 函数 中 ，Levenberg-Marquardt 
法 被 作为 BP 神经 网 络 默认 的 训练 函数 ， 下 面 将 给 出 其 算法 。 

算法 基本 思想 是 使 其 每 次 欠 代 不 再 沿 着 单一 的 负 梯 度 方向 ， 而 是 允许 误差 沿 着 恶化 的 方向 进行 
搜索 ， 同 时 通过 在 最 速 梯度 下 降 法 和 高 斯 一 牛顿 法 之 间 自 适应 调整 来 优化 网 络 权 值 ， 使 网 络 能 够 有 
效 收 代 ， 大 大 提高 了 网 络 的 收敛 速度 和 泛 化 能 力 。 

L-M 优化 算法 ， 又 称 为 阻尼 最 小 二 乘法 ， 其 权 值 调 整 公式 为 


Aw=(JJ+HD Je (3-1) 





e 为 误差 向 量 ， 了 是 误差 对 权 值 微分 的 雅 可 比 矩 阵 ， 妈 是 一 个 标量 ， 当 汉 增 加 时 ， 它 接近 于 具 


有 较 小 的 学 习 速率 的 最 速 下 降 法 ， 当 淡 下 降 到 0 时 ， 该 算法 就 变 成 了 高 斯 一 牛顿 法 了 ， 因 此 ，L-M 
算法 是 在 最 速 梯度 下 降 法 和 高 斯 一 牛顿 法 之 问 的 平滑 调和 。 

工 一 M 算法 具体 的 迭代 步骤 为 : 

1) 将 所 有 输入 送 到 网 络 并 计算 出 网 络 的 输出 ， 另 用 误差 函数 计算 出 训练 集中 记 有 目标 的 误差 
平方 和 。 

2) 计算 出 误差 对 权 值 微分 的 雅 可 比 矩 阵 本 。 

首先 ， 定 义 Marquardt 敏感 度 





SaE 
om 





(3-2) 


从 式 (3-2) 可 以 看 出 ， 敏 感度 为 误差 函数 卫 对 妹 层 输入 的 第 i 个 元 素 变化 的 敏感 性 ， 其 中 为 


每 层 网 络 的 加 权 和 。 
敏感 性 的 递 推 关系 式 为 : 


3 EUm)OwD7So (3-3) 
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可 见 敏 感性 可 由 最 后 一 层 通过 网 络 被 反问 传播 到 第 一 层 ， 
S” 一 S” 一 SS 一 3 (3-4) 


然后 ， 用 式 (3-5) 计 算 雅 各 比 算 阵 的 元 素 ， 





0 Dnm 
[= Se Cn =Smx Dia 一 8 xao (3-5) 
0 


3) 用 式 (3-D) 求 出 Aw 
4) 用 W+Aw 重 复 计算 误差 的 平方 和 如 果 新 的 和 小 于 1) 中 计算 的 和 , 则 用 勾 除 以 2 CO>1)， 


并 有 了 =W+Aw ， 转 1D); 否则 ,用 涌 乘 以 2， 转 3)。 当 误差 平方 和 减 小 到 某 一 目标 误差 时 ， 算 法 


即 被 认为 收敛。 
MATLAB 中 的 工具 函数 trainlm0 即 对 应 Levenberg-Marquardt 法 的 改进 算法 。 


3.2 基于 遗传 算法 的 神经 网 络 优化 方法 


3. 2. 1 概述 


BP 神经 网 络 是 人 工 神经 网 络 中 应 用 最 广泛 的 算法 ， 但 是 也 存在 着 一 些 缺 陷 : 一 是 学 习 收敛 速 
度 太 慢 ; 二 是 不 能 保证 收敛 到 全 局 最 小 点 ; 三 是 网 络 结构 不 易 确 定 。3.1 节 中 讲述 的 各 种 改进 算法 虽 
然 能 够 改善 BP 网 络 算法 的 一 些 不 足 , 但 是 在 实际 应 用 中 仍然 不 够 完善 ,不 能 完全 克服 BP 算法 固有 
的 缺陷 。 另 外 网 络 结构 、 初 始 连接 权 值 和 阔 值 的 选择 对 网 络 训练 的 影响 很 大 , 但 是 又 无 法 准确 获得 
针对 这 些 特点 可 以 采用 遗传 算法 对 神经 网 络 进行 优化 。 遗 传 算法 应 用 于 神经 网 络 的 一 个 方面 是 用 来 
优化 人 工 神经 网 络 (ANN) 的 结构 ， 另 一 个 方面 是 用 遗传 算法 学 习 神经 网 络 的 权 值 ， 也 就 是 用 遗传 算 
法 取代 一 些 传统 的 学 习 算法 。 

遗传 算法 〈Genetic Algorithm， 简 写 为 GA) 是 模拟 达尔 文 的 遗传 选择 和 自然 淘汰 的 生物 进化 过 
程 的 计算 模型 , 它 是 由 美国 密 执 根 (Michigan) 大 学 的 JHolland 教授 于 1975 年 首先 提出 的 ， 遗 传 算法 
具有 很 强 的 宏观 搜索 能 力 和 良好 的 全 局 优化 性 能 ， 因 此 将 遗传 算法 与 BP 网 络 相 结合 ， 训 练 时 先 用 
遗传 算法 对 神经 网 络 的 权 值 进行 寻 优 ， 将 搜索 范围 缩小 后 ， 再 利用 BP 网 络 来 进行 精确 求解 ， 可 以 
达到 全 局 寻 优 和 快速 高 效 的 目的 ， 并 且 可 以 避免 局 部 极 小 问题 。 该 算法 不 仅 具 有 全 局 搜索 能 力 ， 而 
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且 提高 了 局 部 搜索 能 力 ， 从 而 增强 了 在 搜索 过 程 中 自动 获取 和 积累 搜索 空间 知识 及 自 适应 地 控制 搜 
索 过 程 的 能 力 ， 从 而 使 结果 的 性 质 得 以 极 大 的 改善 。 


3. 2. 2 遗传 算法 简介 


首先 将 问题 求解 表示 成 基因 型 〈 如 常用 的 二 进 制 编码 串 )， 从 中 选取 适应 环境 的 个 体 ， 淘 汰 不 
好 的 个 体 ， 把 保留 下 来 的 个 体 复 制 再 生 ， 通 过 交叉 、 变 异 等 遗传 算 子 产生 新 一 染色 体 群 。 依 据 各 种 
收敛 条 件 ， 从 新 老 群 体 中 选 出 适应 环境 的 个 体 ， 一 代 一 代 不 断 进步 ， 最 后 收敛 到 适应 环境 个 体 上 ， 
求 得 问题 最 优 解 。 遗 传 算法 中 概念 与 生物 遗传 学 中 的 概念 的 对 应 关系 如 表 3-1 所 示 。 
表 3-1 生物 遗传 学 概念 与 遗传 算法 中 概念 的 对 应 关系 




















生物 遗传 学 概念 遗传 算法 中 的 作用 
适 者 生存 在 算法 停止 时 ， 最 优 目标 值 的 解 有 最 大 的 可 能 被 留 住 
个 体 (individual) 目标 函数 的 解 
染色 体 (chromosome) 解 的 编码 〈 向 量 ) 
基因 〈gene) 解 中 的 每 一 分 量 的 特征 〈 或 值 ? 
适应 性 (fitness) 适应 函数 值 
群体 (population) 选 定 的 一 组 解 〈 其 中 解 的 个 数 为 群体 的 规模 ) 
种 群 (reproduction) 根据 适应 函数 选取 的 一 组 解 
交配 (crossover) 按 交配 原则 产生 一 组 新 解 的 过 程 
变异 (mutation) 编码 的 某 一 分 量 发 生变 化 的 过 程 


传统 遗传 算法 的 实现 步骤 如 下 : 

1. 随 机 产生 一 定数 目的 初始 个 体 染色体) 这 些 随 机 产生 的 染色 体 组 成 一 个 种 群 ， 种 群 中 的 染 
色 体 数目 称 为 种 群 的 规模 或 大 小 〈pop-size); 

2. 用 评价 函数 来 评价 每 个 染色 体 的 优 劣 ”染色 体 对 环境 的 适应 程度 ( 称 为 适应 度 )， 并 用 作 以 后 
遗传 操作 的 依据 ， 

3. 基 于 适应 值 的 选择 策略 ”从 当前 种 群 中 选取 一 定 的 染色 体 作为 新 一 代 的 染色 体 〈 染 色 体 的 适 
应 度 越 高 ， 其 被 选择 的 机 会 越 大 ); 

4. 对 这 个 新 生成 的 种 群 进 行 交 叉 〈 交 配 ) 操作 、 变 异 操作 〈 变 异 操 作 的 目的 使 种 群 中 的 个 体 具 


有 





有 多 样 性 ， 防 止 陷入 局 部 最 优 解 )， 这 样 产 生 的 染色 体 群 (种群 ) 称 为 后 代 ; 

对 新 生 的 种 群 重复 进行 选择 、 交 叉 、 变 异 操 作 过 程 ， 经 过 给 定 次 数 的 迭代 后 ， 把 最 好 的 染色 体 
作为 优化 问题 的 最 优 解 。 

遗传 算法 的 流程 图 如 图 3-1 所 示 。 
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训 II 
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图 3-1 遗传 算法 流程 图 


3. 2. 3 遗传 算法 工具 箱 


MATLAB 中 的 遗传 算法 工具 箱 中 含有 丰富 的 遗传 算法 相关 的 函数 , 利用 遗传 算法 工具 箱 可 以 很 
方便 地 实现 遗传 算法 对 神经 网 络 权 值 和 阔 值 的 优化 。 下 面 给 出 遗传 算法 工具 箱 中 几 个 核心 函数 的 格 
式 和 使 用 方法 。 

1 .编码 和 种 群生 成 
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指令 格式 : 
fonction [pop]=initializega(populationSize, variableBounds,evalFN, 
evalOps,options) 
参数 说 明 : 


pop: 随机 生成 的 初始 种 群 
populatoinSize: 种 群 大 小 即 种 群 中 个 体 的 数目 
variableBounds: 表示 变量 边界 的 矩阵 
evalFN: 适应 度 函 数 
evalOps: 传 给 适应 度 函 数 的 参数 
options， 选择 编码 形式 :1 为 浮 点 编码 
0 为 二 进 制 编 码 
2. 进 行 遗 传 操作 
指令 格式 : 
fbnction [x,endPop,bPop,traceInfo]j=ga(bounds,evalFN,evalOps,startPop,opts, 
termFN,termOps,selectFN,selectOps, 


XOverFNS,xOverOps,mutFNs,mutOps) 
参数 说 明 : 
1) 输出 参数 : 
X: 求 得 的 最 优 解 
endPop: 得 到 的 最 终 种 群 
bPop: 最 优 种 群 的 搜索 轨迹 
traceInfo: 每 代 的 最 优 值 和 均值 托 阵 
2) 输入 参数 : 
Bounds: 代表 变量 上 下 界 的 托 阵 
startPop: 可 以 从 初始 化 函数 中 得 到 的 初始 解 矩 阵 
evalFN: 适应 度 函 数 
termFN: 终止 函数 的 名 称 
termOps: 终止 函数 的 参数 
selectFN: 选择 函数 名 
selectOpts: 选择 参数 
XOverFNS: 交叉 函数 名 
xOverOps: 交叉 参数 
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mutFNs: 变异 函数 名 
mutOps: 变异 参数 
3. 2.4 用 遗传 算法 优化 神经 网 络 权 值 的 学 习 过 程 
仍 以 2.3.2 中 的 三 层 BP 网 络 为 例 ， 遗 传 算法 学 习 BP 网 络 的 步骤 如 下 : 


1) 初始 化 种 群 P， 包 括 交叉 规模 、 交 又 概率 Pc、 突 变 概率 Pm 以 及 对 任 一 "2 和” 初始 化 ; 
在 编码 中 ， 采 用 实数 进行 编码 ， 初 始 种 群 取 寻 ( 视 实际 应 用 选择 数值 大 小 ); 
2) 计算 每 一 个 个 体 评价 函数 ， 并 将 其 排序 ， 可 按 下 式 概率 值 选 择 网 络 个 体 : 


已 = 


其 中 少 为 个 体 i 的 适 配 值 ， 可 用 误差 平方 和 已 来 衡量 ， 即 
] EOD= 闷 > (4 一 yo 
16po 2 
其 中 主 2… 为 染色 体 数 ，0 = 2 为 输出 层 节点 数 ， 丰 =] 2 为 学 习 样本 数 


区 为 网 络 的 实际 输出 ，d 为 期 望 输出 。 


3) 以 交叉 概率 Pe 对 个 体 G 和 @G， 进行 交叉 操作 ， 产 生 新 个 体 G 和 @G, ， 没 有 进行 交叉 操作 
的 个 体 直 接 进行 复制 


4) 利用 变异 概率 Pm 突变 产生 C/ 的 新 个 体 @/ ， 

5) 将 新 个 体 插入 到 种 群 P 中 ， 并 计算 新 个 体 的 评价 函数 

6) 判断 算法 是 否 结束 。 如 果 找到 了 满意 的 个 体 ， 则 结束 ， 香 则 转 3) 进入 下 一 轮 运算 。 

算法 结束 ， 如 达到 预先 设 定 的 性 能 指标 后 ， 将 最 终 群 体 中 的 最 优 个 体 解码 即 可 得 到 优化 后 的 网 
络 连 接 权 值 系数 。 

用 址 传 算法 优化 神经 网 络 的 MATLAT 实现 请 参阅 45.3 节 。 
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3.3 小 波 神经 网 络 


3. 3.1 概述 


如 果 将 小 波 变换 应 用 到 神经 网 络 中 ， 可 以 优化 神经 网 络 ， 从 本 质 上 改善 神经 网 络 的 学 习 功 能 。 
小 波 神经 网 络 〔(Wavelet Neural Network, WNN) 或 小 波 网 络 〔(Wavelet Network) 是 小 波 函 数 对 神经 
网 络 的 优化 与 应 用 ， 是 小 波 分 析 理 论 与 神经 网 络 理论 相 结合 的 产物 。 最 早 研究 小 波 分 析 与 神经 网 络 
的 联系 的 是 Pati 和 Krishnaprasad， 他 们 提出 了 离散 仿 射 小 波 网 络 模型 ， 其 基本 思想 是 将 离散 小 波 变 


换 引入 神经 网 络 模型 ， 通 过 对 Sigmoid 函数 的 乎 移 伸缩 构 成 屋 (R) 中 的 仿 射 框架 ， 进 而 构造 小 波 
经 网 络 。 法 国 著名 的 信息 科学 研究 机 构 IRLSA 的 Zhang Qinghu 等 1992 年 正式 提出 小 波 神经 网 络 的 
概念 ， 其 思想 是 用 小 波 元 代替 神经 元 ， 即 用 已 定位 的 小 波 函数 代替 Sigmoid 


过 仿 射 变换 建立 


度 分 析 ， 能 有 效 提 取信 号 的 局 部 信息 ; 另 一 方面 ， 神 经 网 络 具 有 自学 习 、 


并 且 是 一 类 通用 函数 遇 近 器 。 
其 它 前 向 的 神经 
论 确定 的 ， 可 以 避免 BP 神经 


从 结构 形式 看 ， 小 波 分 析 





小 波 分 析 对 神经 
2. 融合 型 结合 小 波 和 社 


层 函数 用 小 波 函数 来 代替 ， 相 应 的 输入 层 到 隐 含 层 的 权 值 及 隐 含 层 阔 值 
移 参数 所 代替 。 根 据 基 函 数 和 学 习 参 数 的 不 同 选 取 ， 小 波 社 
络 这 种 小 波 神经 网 络 类 似 于 径 向 基 函 数 


1) 连 续 参数 的 小 波 神经 


电 小 波 变 换 与 网 络 系数 之 间 的 连接 ， 堵 
小 波 神经 网 络 是 基于 小 波 分 析 启 构造 的 一 种 新 型 的 神经 网 络 模型 ， 它 充分 继承 了 小 波 分 析 与 补 


络 ， 它 有 明显 


应许 


经 网 络 两 者 的 优点 ， 因 而 具有 更 好 的 性 能 。 一 方面 ， 小 波 变 : 


网 络 具 有 更 强 
首先 ， 小 波 神经 
设计 上 的 盲目 性 ; 


因此 小 刘 








络 等 结 








经 网 络 让 接 融合 ， 即 小 波 元 代 





函数 作为 激活 函数 ， 通 





于 逼近 Z(R ) 


换 通过 尺度 


经 


络 的 信息 更 
替 神 经 





分 别 


仲 缩 和 平移 对 信 反 
自 适 应 和 容错 性 等 特点 ， 
的 通 近 、 容 错 能 力 。 小 波 神经 网 络 相 比 于 
络 的 基 元 和 整个 结构 是 依据 小 波 分 析 理 
其 次 ， 小 波 补 
精度 更 高 ， 最 后 对 同样 的 学 习 任务 ， 小 波 神经 网 络 结构 更 简单 ， 收 敛 速度 更 快 。 
[与 神经 网 络 的 结合 有 以 下 形式 : 
1. 松散 型 结合 小 波 分 析 仅 作为 神经 网 络 的 前 置 处 理 手段 ， 为 神经 
络 的 输入 进行 初步 处 理 ， 使 得 输入 神经 


络 提供 输入 特征 向 量 ， 旧 
易于 神经 网 络 进行 处 理 。 
它 是 将 常规 神经 网 络 的 隐 含 


的 函数 食 z) 。 





中 
了 


进行 多 尺 


络 有 更 强 的 学 习 能 力 ， 








区 


由 小 波 函 数 的 尺度 和 


经 网 络 又 可 分 为 如 下 三 种 形式 的 网 络 ， 





经 


络 , 但 借助 于 小 波 分 析 


理论 ， 可 使 网 络 具有 较 简单 的 拓扑 结构 和 较 快 的 收敛 速 度 ， 但 由 于 尺度 和 平移 参数 均 可 调 ， 使 其 与 


输出 为 非 线性 关系 ， 通 常 需 利 
在 局 部 极 小 的 弱点 。 





用 非 线 性 优化 方法 进行 参数 修 


正 ， 易 姑 





萌 来 类 似 BP 网 络 参数 修正 时 存 


2) 由 框架 作为 基 函 数 的 小 波 神经 网 络 由 于 不 考虑 正 交 性 ,小 波 函 数 的 选取 有 很 大 自由 度 ， 网 络 


的 可 调 参数 只 有 权 值 ， 其 与 输出 呈 线 性 关系 ， 可 通过 最 小 二 乘法 或 其 它 优 人 





法 修正 权 值 ， 使 网 络 能 
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充分 逼近 目标 。 这 种 形式 的 网 络 虽然 基 函 数 选取 灵活 ， 但 由 于 框架 可 以 是 线性 相关 的 ， 使 得 网 络 函 
数 的 个 数 有 可 能 存在 见 余 ， 对 过 于 庞大 的 网 络 需 考 虑 优化 结构 的 算法 。 

3) 正 交 基 小 波 网 络 网 络 隐 节 点 由 小 波 函 数 节 点 和 尺度 函数 节点 构成 , 尽管 正 交 小 波 网 络 在 理论 
上 研究 较为 方便 ， 但 是 正 交 基 函 数 的 构造 复杂 ， 不 如 一 般 的 基于 框架 的 小 波 网 络 实用 。 

目前 对 小 波 神经 网 络 参数 的 学 习 算法 ， 主 要 有 梯度 下 降 法 、 正 交 搜 索 法 、 拢 阵 求 逆 法 等 。 特 别 
地 ， 当 小 波 基 函 数 的 平移 和 伸缩 也 可 事先 确定 时 ， 小 波 神经 网 络 的 可 调 参数 只 有 权 系 数 ， 由 于 小 波 
神经 网 络 的 输出 与 其 权 值 是 线性 的 ， 因 而 不 存在 如 常规 BP 网 络 那样 的 局 部 极 小 点 ， 可 直接 利用 最 
小 二 乘 方法 。 

小 波 神经 网 络 虽然 有 很 多 优点 ， 但 在 目前 的 实际 应 用 中 还 存在 着 以 下 一 些 不 足 之 处 

1. 在 多 维 输入 情况 下 ， 随 着 网 络 的 输入 维 数 增加 ， 网 络 所 训练 的 样本 呈 指 数 增长 ， 网 络 结构 也 
将 随 之 变 的 庞大 ， 使 得 网 络 收敛 速度 大 大 下 降 ; 

2. 隐 含 层 节点 数 难以 确定 ; 

3. 小 波 网 络 中 初始 化 参数 问题 ， 若 尺度 参数 与 位 移 参数 初始 化 不 合适 ， 将 导致 整个 网 络 学 习 过 
程 的 不 收入 

4. 未 能 根据 实际 情况 来 自 适应 选取 合适 的 小 波 基 函 数 。 








3. 3. 2 小 波 神经 网 络 参数 调整 算法 


一 般 来 说 ， 小 波 神经 网 络 的 连接 权 值 、 尺 度 系统 和 平移 系数 等 参数 是 需要 通过 对 网 络 进行 训 夕 
来 确定 的 ， 确 定 小 波 神经 网 络 中 的 各 个 参数 有 许多 算法 ， 但 是 最 常用 的 仍 是 最 速 梯度 下 降 法 ， 因 此 
BP 算法 的 各 种 改进 算法 同样 适用 于 小 波 神经 网 络 .下 面 将 通过 详细 的 算法 描述 来 说 明 如 何 确定 小 波 
神经 网 络 中 的 各 个 待定 的 参数 。 

按照 标准 BP 算法 的 操作 流程 ， 小 波 神经 网 络 的 权 值 的 调整 过 程 分 为 两 个 阶段 ， 第 一 阶段 是 从 
网 络 的 输入 层 开始 爱 层 开始 向 前 计算 , 根据 输入 样本 计算 各 层 的 输出 ， 最终 求 出 网 络 输出 层 的 输出 
这 是 前 向 传播 过 程 。 第 一 个 阶段 是 对 权 值 的 修正 ， 从 网 络 的 输出 层 开始 逐 层 向 后 进行 计算 和 修正 
这 是 反 向 传播 过 程 。 两 个 过 程 反复 交替 ， 直 到 达到 要 求 为 上 

设 小 波 神经 网 络 为 三 层 网 络 ， 包 括 箱 入 层 、 隐 含 层 和 输出 层 ， 输 出 层 采用 线性 输出 ， 输 入 层 有 
MO -12… 个 神经 元 , 隐 含 层 有 天 化]2… 个 神经 元 ,输出 层 有 NO=12… 个 
神经 元 ， 其 结构 如 图 3-2 所 示 。 隐 含 层 选取 的 神经 元 激励 函数 为 Morlet 小 波 ，Morilet 小 波 表达 式 如 
下 


ZX 一 已 


hC 一 )=cos(L75*expC05CG 


QQ 





站 
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训练 时 ， 在 权 值 和 阔 值 的 修正 算法 中 加 入 动量 项 ， 利 用 前 一 步 得 到 的 修正 值 来 平滑 学 习 路 径 ， 
避免 陷入 局 部 极 小 值 ， 加 速 学 习 速度 。 为 了 和 避免 在 逐个 样本 训练 时 ， 引 起 权 值 和 阔 值 修正 时 发 生 的 
振荡 ， 采 用 成 批 训练 方法 ， 将 一 批 样本 所 产生 的 修正 值 累 计 后 进行 处 理 。 对 网 络 的 输出 也 并 不 是 简 
单 的 加 权 求 和 ， 而 是 先 对 网 络 隐 含 层 小 波 节点 的 输出 加 权 求 和 ， 再 经 Sigmoid 函数 变换 后 ， 得 到 最 
终 的 网 络 输出 。 这 样 做 有 利于 处 理 分 类 问题 ， 同 时 减少 训练 过 程 中 发 散 的 可 能 性 。 





图 3-2 小 波 神经 网 络 的 结构 


给 定 甩 已 = 2… 组 输入 输出 样本 ， 学 习 率 为 7C7 > 0) ,动量 因子 为 (0<4<1)， 根据 最 


速 下 降 法 的 基本 思想 ， 定 义 如 下 的 代价 函数 : xw 


式 中 ， 几 为 输出 层 第 n 个 节点 的 期 望 输出 ， 思 为 网 络 实际 输出 。 算 法 的 目的 就 是 不 断 调整 网 
络 的 各 项 参数 ， 使 得 妃 达 到 最 小 值 。 
由 网 络 结构 可 得 隐 含 层 输出 为 : 


及 一 忆 
O! =h( 二 一)， 玫 = woa 


ce 
式 中 ， 癌 表示 输入 层 的 输入 ，CX 表示 隐 含 层 的 输出 ，Wi 表示 输入 层 结 点 攀 与 隐 含 层 结 点 大 


之 问 的 权 值 ，hO) 表示 Morlet 小 波 函数 。 
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丽 = 太 = 症 wsOz 
由， 研 表示 输出 屋 的 旨 Ti 败 含 层 结 点 大 严 ff 
式 中 ，“" 表示 输出 层 的 输入 ， 表示 隐 含 层 结 点 人 与 输出 层 结 点 对 之 间 的 权 值 ， “表示 


Morlet 小 波 函 数 。 
小 波 神经 网 络 训练 算法 逐步 更 新 神经 元 间 的 连接 权 值 及 小 波 函 数 的 伸缩 因子 和 平移 因子 ， 下 面 


将 给 出 它们 的 推导 式 。 
隐 含 层 与 输出 层 之 问 的 权 值 调整 式 : 


Wev =- 迪 + + MAmwo 


夏 


_ 5E? 
2 一 


式 中 ， Bww 


= 一 芒 ) 区 区 ) wu 


0 
Wu 和 WA 分 别 表示 调 下 前 与 调整 后 的 隐 含 层 





结 点 上 与 输出 层 结 点 了 之 问 的 连接 权 值 ，AWx 表示 动量 项 。 


WA 一 人 + 这 5 二 MAAwt 


ms=1 


IO 
式 中 6 一 全 -> 和 六 2 半 -ww 人 和 We 表示 调整 前 与 调 束 后 的 输入 层 结 点 六 








与 隐 含 层 结 点 上 之 间 的 权 值 ，Awiw 表示 动量 项 。 


Ce =aie+1S 王 +MAdm 


ml 





p 
趟 中 ,了 - 沟 > WE ，a 人 m 和 afr 表示 调整 前 与 调整 后 的 仲 针 因子 ，Aat 表 
大 


(有 


示 伸 缩 因子 动量 项 。 
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。 
办 "= MAb 


= 








区 s 60L ol new 老 示 调 救 前 扎 jj 一 Me 亚 we 
式 中 ， 二 => (Oown)， 1 以 ”和 以 "表示 调整 前 与 调整 后 的 平移 因子 ，Ab” 表 
在 mL kw 


示 半 移 因子 动量 项 。 

学 习 算法 的 具体 实现 步骤 如 下 

(1) 网 络 参数 的 初始 化 将 小 波 的 伸缩 因子 & 、 平 移 因子 全 、 网 络 连 接 权 值 Wo 和 We 、 学 习 
率 7C7 > 0) 以 及 动量 因子 4(0< 4 < 了 赋予 初始 值 ， 并 中 输入 样 木 计数 器 已 = 1。 

《2) 输入 学 习 样 本 及 相应 的 期 望 输出 @e 。 


(3) 计算 隐 含 层 及 输出 层 的 输出 。 
(4) 计算 误差 和 梯度 向 量 。 


(5) 输入 下 一 个 样本 ， 即 忆 =P+1。 


(6) 判断 算法 是 耕 结束 。 当 已 < 二 时 ， 即 代价 函数 妃 小 于 预先 设 定 的 某 个 精度 值 S(2> 0) ， 


停止 网 络 的 学 习 ， 和 否则 将 乙 重 置 为 1， 并 转 步骤 (2)。 


3. 3. 3 小 波 神经 网 络 的 WMATLAB 函数 


利用 MATLAB 中 的 小 波 神经 网 络 工具 箱 函 数 ,可 以 很 方便 地 实现 小 波 神经 网 络 的 建立 和 仿真 ， 
下 面具 体 介绍 静态 非 线性 回归 小 波 神经 网 络 的 创建 过 程 来 具体 说 明 如 何 使 用 MATLAB 中 的 小 波 网 
络 工具 箱 函数 来 设计 小 波 神经 网 络 。 

1. 静态 非 线性 回归 小 波 神经 网 络 的 创建 

指令 格式 : 

THETA = wnetreg(y, x, nbwavelon, max_epoch, initmode, min_nbw, levels) 

参数 说 明 : 
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1) 输出 参数 

THETA 小 波 回归 模型 的 估计 参数 。 

2) 输入 参数 

y 一 个 列 向 量 。 

x 对 于 单 输入 ，x 是 一 个 列 向 量 ; 对 于 多 输入 ，x=[xl x2 … xm]， 每 个 xi 都 是 一 个 列 向 量 。 

nbwavelon: 构建 小 波 网 络 的 小 波 数量 

max_epoch: 最 大 训练 次 数 。 

initmode: 初始 化 模式 ， 缺 省 值 为 2。 

如 果 initmode=THETA 则 为 一 个 包含 小 波 神经 网 络 参数 的 矩阵 ， 这 些 参数 用 来 初始 化 网 络 。 这 
种 模式 对 重复 训练 小 波 神经 网 络 具 有 很 大 的 作用 。 

min_nbw: 最 小 输入 模式 数 。 

levels:， 初始 化 过 程 中 的 级 别 数 。 

min_nbw 和 levels 是 可 以 选择 的 。 

2. 小 波 神经 网 络 的 仿真 

小 波 神经 网 络 的 仿真 使 用 函数 wavenet( )， 可 以 很 方便 地 得 到 网 络 的 仿真 结果 。 

指令 格式 : 

g= wavenet(x, THETA) 

小 波 神经 网 络 的 MATLAB 实现 请 参阅 4.5.4 节 。 


练习 题 


1、BP 网 络 的 改进 算法 哪些 ? 简要 说 明 其 原理 。 

2、 简 要 说 明 L-M 优化 算法 、 遗 传 算法 优化 神经 网 络 权 值 算法 、 小 波 神经 网 络 算法 的 学 习 过 程 。 

3、 针 对 例子 2-3 所 描述 的 药品 的 销售 预测 实例 ， 现 构建 一 个 如 下 的 三 层 BP 神经 网 络 : 输入 层 
有 三 个 结 点 ， 隐 含 层 节点 数 为 5， 隐 含 层 的 激活 函数 为 tansig( 双 曲 正切 S 型 传递 函数 ); 输出 层 结 点 
数 为 1 个 ， 输 出 层 的 激活 函数 为 logsig(S 型 的 对 数 函 数 )， 例 子 2-3 已 经 实现 了 标准 BP 算法 的 预测 
过 程 ， 参 考 该 预测 过 程 ， 请 用 3.1 节 中 描述 的 改进 BP 算法 分 别 实现 预测 过 程 ， 并 比较 在 相同 的 精度 
要 求 下 各 种 方法 记得 到 的 训练 误差 和 训练 次 数 。 
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第 4 章 nnToolKit 神经 网 络 工具 包 


4.1 nnToolKit 简介 


nnToolKit 神经 网 络 工具 包 是 基于 MATLAB 神经 网 络 工具 箱 自行 开发 的 一 组 神经 网 络 算法 函 
数 库 ， 其 中 的 函数 在 MATLAB 环境 下 均 可 独立 运行 ， 并 可 打包 成 DLL 组 件 ， 这 些 组 件 作为 独立 的 
COM 对 象 ， 可 以 直接 被 Visual Basic、Visual C++ 、C++ Builder 或 其 它 支持 COM 的 高 级 语言 押 引 
用 。 本 工具 包 中 包含 的 算法 包括 BP 算法 中 的 常用 改进 算法 、 模 糊 神 经 网 络 、 小 波 神经 网 络 、 遗 传 
算法 优化 神经 网 络 权 值 改进 算法 等 ， 根 据 需要 ， 读 者 还 可 以 对 该 工具 包 进 行 扩 展 ， 以 实现 一 些 特殊 
的 算法 需求 。 本 章 将 对 其 工具 包 中 的 主要 函数 ， 以 及 如 何 扩展 工具 包 做 详细 介绍 。 





4.2 nnToolKit 函数 库 


目前 nnToolKit 神经 网 络 工具 包 中 包含 了 神经 网 络 算法 的 一 些 优化 或 改进 算法 。 基 于 此 ， 用 户 
可 以 快速 开发 出 基于 优化 神经 网 络 算法 的 应 用 程序 , 同时 还 可 以 增加 新 的 函数 , 对 工具 包 进 行 扩展 ， 


























以 适应 实际 应 用 的 需求 。 表 4-1 列 出 了 nnToolKit 神经 网 络 工 具 包 中 所 包含 的 主要 函数 。 
表 4-1 nnToolKit 的 重要 函数 和 基本 功能 
算法 函数 名 功 能 
LM 神经 网 络 | LmTrain() LM 神经 网 络 训练 函数 
算法 LmSimu0) LM 神经 网 络 仿真 函数 
模糊 神经 网 | FnnTrain0 模糊 神经 网 络 训练 函数 
络 FnnSimu0) 模糊 神经 网 络 仿真 函数 
遗传 算法 优 | wnninit0 小 波 神经 网 络 初始 化 函数 
化 小 波 神经 | wnn 0 直接 用 小 波 神经 网 络 各 近 非 线性 (内 部 调用 小 波 函 数 ) 
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网 络 





gawnn () 遗传 算法 优化 小 波 神经 网 络 后 逼近 非 线 性 (内 部 调用 遗传 算法 的 
初始 化 、 适 应 度 、 解 码 函 数 ) 
wnndemo() 基于 小 波 神经 网 络 的 1-D 插值 示例 程序 








遗传 算法 优 | initnet0 
化 网 络 权 值 | gadecod() 


根据 指定 的 权 值 阔 值 ， 获 得 设置 好 的 一 个 神经 网 络 





将 遗传 算法 的 编码 分 解 为 BP 网 络 所 对 应 的 权 值 、 阔 值 





Gafitness () 


遗传 算法 的 适应 值 计 算 





Generatesample () 


在 指定 路 径 生成 适合 于 训练 的 样本 























getWBbysga () 用 遗传 算法 获取 神经 网 络 权 值 阅 值 参数 
Gabptrain () 结合 遗传 算法 的 神经 网 络 训练 

Segment () 利用 训练 好 的 神经 网 络 进行 分 割 图 像 
compbpandgabp () “| 传统 BP 和 遗传 BP 训练 示例 程序 

demo 0) 基于 遗传 神经 网 络 的 图 像 分 割 示例 程序 





下 面 对 工具 包 中 的 主要 函数 作 简 要 介绍 。 


4.2.1 


功能 LM 神经 网 络 训练 函数 。 


LmTrain () 


格式 retstr = LmTrain(ModelNo,NetPara,TrainPara,InputFun,OutputFun,DataDin) 。 

说 明 函数 返回 网 络 训练 次 数 ， 同 时 将 网 络 训练 结果 ( 权 、 阔 值 ) 及 训练 误差 保存 到 文件 。 各 参数 
说 明 如 下 : 
ModelNo 神经 网 络 模型 编号 。 

NetPara 神经 网 络 参数 ， 它 是 一 个 四 维 数 组 ， 分 别 表示 输入 层 节点 数 、 输 出 层 节点 数 、 中 
间 层 节点 数 和 训练 样本 组 数 。 

TrainPara 神经 网 络 可 选 训练 参数 ， 当 采用 默认 值 时 ， 参 数 设置 为 -1， 它 是 八 维 数组 ， 分 别 
表示 显示 间隔 次 数 ， 最 大 循环 次 数 ， 目 标 误差 ， 设 置 最 小 梯度 ; 设 定 H 的 初始 值 ， 设 定 
的 增加 系数 ， 设 定 b 的 减少 系数 ， 设 定 b 的 最 大 值 。 

InputFun 输入 层 到 中 间 层 的 传递 函数 ,默认 值 为 ansig'， 当 采用 默认 值 时 ,参数 指定 为 1。 
OutputFun 中 间 层 到 输出 层 的 传递 函数 ， 默 认 值 为 purelin'， 当 采用 默认 值 时 ， 参 数 指定 为 


1 
2) 


3) 


4) 
5 
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1 
6) DataDir 数据 文件 保存 路 径 。 


4.2.2 LmSimu () 


功能 LM 神经 网 络 仿真 函数 。 

格式 retstr= LmSimu(ModeINo,NetPara,SimulatePara,InputFun,OutputFun,DataDin) 。 

说 明 函数 调用 经 LmTrain 函数 训练 的 神经 网 络 权 阔 值 参数 文件 ， 对 未 知 的 输入 样本 进行 仿真 ， 
返回 仿真 结果 ， 同 时 将 仿真 结果 写 入 结果 文件 。 各 参数 说 明 如 下 : 

1D) ModelNoe 神经 网 络 模型 编号 。 

2) NetPara 神经 网 络 参数 ， 它 是 一 个 三 维 数组 ， 分 别 表 示 输 入 层 节点 数 、 输 出 层 节 点 数 和 中 

间 层 节点 数 。 

3) SimulatePara 神经 网 络 仿真 输入 参数 ， 是 经 归 一 化 后 的 测试 样本 数据 ， 其 维 数 与 神经 网 络 

输入 参数 个 数 相同 ， 如 神经 网 络 输入 参数 为 ?7， 则 SimulatePara 为 一 个 7 维 的 向 量 。 

4) InputFun 输入 层 到 中 间 层 的 传递 函数 ,默认 值 为 tansig'， 当 采用 默认 值 时 ,参数 指定 为 -1。 

5) OutputFun 中 间 层 到 输出 层 的 传递 函数 ， 默 认 值 为 purelin'， 当 采用 默认 值 时 ， 参 数 指定 为 

1 

6) DataDir 数据 文件 保存 路 径 。 

L-M 神经 网 络 用 到 的 数据 文件 包括 : 

名 专 家 样本 归 一 化 数据 文件 input_para.txt 和 output_para.txt。 

input_para.txt 为 归 一 化 后 的 专家 样本 的 输入 参数 文件 ， 一 组 样本 放 在 同一 行 
output_para.txt 为 归 一 化 后 的 专家 样本 的 输出 参数 文件 ， 一 组 样本 放 在 一 行 ， 使 用 时 注意 输 
入 和 输出 的 样本 个 数 要 求 一 致 ， 即 两 个 数据 文件 中 数据 行 数 要 相同 。 

加 保存 神经 网 络 结构 的 权 域 值 文件 wl.dat; w2.dat;， bl1.dat;，b2.dat。 

由 于 任意 一 个 多 层 的 神经 网 络 结构 ， 都 可 以 通过 调整 隐 含 层 单元 个 数 ， 由 一 个 三 层 的 神经 网 络 
结构 来 实现 。 故 提供 的 组 件 中 只 包含 三 层 的 神经 网 络 ， 用 户 可 以 通过 调整 隐 含 层 单元 个 数 ， 来 实现 
复杂 的 网 络 结构 需要 。 

wl.dat;，bl.dat 代表 输入 层 到 中 间 层 的 权 域 值 文件 ; 

w2.dat;，b2.dat 代表 中 层 到 输出 层 的 权 域 值 文件 。 

图 神经 网 络 训 绢 文件 Im_errdat， 记 录 神 经 网 络 循环 训练 一 次 对 应 的 误差 

图 神经 网 络 仿真 后 的 结果 文件 result.dat。 














4.2.3 FnnTrain () 


功能 模糊 神经 网 络 训练 函数 。 

格式 retstr = FnnTrain(dbld,ttsp)。 

说 明 对 指定 的 样本 数据 进行 训练 ， 同 时 将 训练 结果 写 入 权 值 文 件 ， 各 参数 说 明 如 下 ; 
1D dt 输入 参数 ， 学 习 阔 值 。 

2) ld 输入 参数 ， 学 习 进 度 。 

3) tt 输入 参数 ， 训 练 次 数 。 

4) sp 输入 参数 ， 样 本 数据 文件 。 


4.2.4 FnnSimu () 


功能 模糊 神经 网 络 仿真 函数 。 

格式 retstr = FnnSimu(kd,sj,td)。 

说 明 调用 训练 好 的 模糊 神经 网 络 模型 ， 对 输入 样本 进行 仿真 ， 各 参数 说 明 如 下 : 
1D)  kd 输入 参数 ， 学 习 闭 值 。 

2) sj 输入 参数 ， 学 习 进度 。 

3) td 输入 参数 ， 仿 真 输入 数据 。 





4.2.5 initnet () 


功能 根据 指定 的 权 值 阔 值 ， 获 得 设置 好 的 一 个 神经 网 络 。 

格式 [net] = initnet(W1, Bl1, W2, B2,paraments)。 

参数 说 明 : 

1D) WwW1 输入 参数 ， 输 入 层 到 隐 含 层 权 值 。 

2) Bl 输入 参数 ， 输 入 层 到 隐 含 层 阔 值 。 

3) W2 输入 参数 ， 隐 含 层 到 输出 层 权 值 。 

4) “B2 输入 参数 ， 隐 含 层 到 输出 层 阅 值 。 

5) paraments 神经 网 络 参数 信息 : [最 大 迭代 次 数 ”最 小 误差 ]。 


4.2.6 gadecod () 


功能 将 遗传 算法 的 编码 分 解 为 BP 网 络 扩 对 应 的 权 值 、 阔 值 。 
格式 [W1,Bl, W2, B2,P,TAl,A2, SE,vall=-gadecod(x)。 
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1D  x 输入 参数 ， 一 个 染色 体 。 

2) “W1 输出 参数 ， 输 入 层 到 隐 含 层 权 值 。 
3) B1 输出 参数 ， 输 入 层 到 隐 阔 值 。 
4)  W2 输出 参数 ， 隐 含 层 到 输出 层 权 值 。 
5) B2 输出 参数 ， 隐 含 层 到 输出 层 阔 值 。 
9) 了 输出 参数 ， 训 练 样本 。 

7) T 输出 参数 ， 样 木 输出 值 。 

8) Al 输出 参数 ， 输 入 层 到 隐 含 层 误差 。 
9 A2 输出 参数 ， 隐 含 层 到 输出 层 误差 
10) SE 输出 参数 ， 误 差 平方 和 。 
110) val 输出 参数 ， 遗 传 算法 的 适应 值 。 








4.2.7 gafitness () 


功能 遗传 算法 的 适应 值 计算 。 
格式 『= gafitness(y)。 

参数 说 明 : 

1D) y 输入 参数 ， 染 色 体 个 体 。 
2) 《ff 输出 参数 ， 染 色 体 适 应 度 。 


4.2.8 generatesample( ) 


功能 在 指定 路 径 生 成 适合 于 训练 的 样本 。 

格式 [] = generatesample(path)。 

参数 说 明 ， 

1) path 输入 参数 ， 指 定 路 径 ， 用 于 保存 样本 文件 。 


4.2.9 getWBbyga ( ) 


功能 用 遗传 算法 获取 神经 网 络 权 值 阔 值 参数 。 

格式 [W1, Bl, W2, B2 ] = getWBbyga(paraments)。 

参数 说 明 : 

1D paraments 输入 参数 ， 遗 传 算法 的 参数 信息 : [遗传 代数 最 小 适应 值 ]。 
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4.2.10 segment () 


功能 利用 训练 好 的 神经 网 络 进行 分 割 图 像 。 
格式 [bw] = segment(nebimg)。 

参数 说 明 : 

1) net 输入 参数 ， 已 经 训练 好 的 神经 网 络 。 
2) img 输入 参数 ， 要 分 割 的 图 像 。 

3) bw 输出 参数 ， 分 割 后 的 二 值 图 像 。 





4.2.11 gabptrain () 


功能 结合 遗传 算法 的 神经 网 络 训练 。 
格式 [net] = gabptrain(gaPbpPPT)。 
参数 说 明 : 

1) gaP 输入 参数 ， 遗 传 算法 的 参数 信 
2) bpP 输入 参数 ， 神 经 网 络 参 数 人 
3) P 输入 参数 ， 样 木 数组 。 

4) 了 T 输入 参数 ， 目 标 数组 。 

5) net 输出 参数 ， 训 练 好 的 网 络 结构 。 






\: [遗传 代数 最 小 适应 值 ]。 
[最 大 迭代 次 数 ”最 小 误差 ]。 


4.2.12 compbpandgabp () 


功能 传统 BP 和 遗传 BP 训练 示例 程序 。 

格式 retstr = compbpandgabp()。 

说 明 对 于 指定 的 样本 数据 ， 分 别 用 传统 BP 算法 和 遗传 BP 算法 进行 训练 ， 相 比 之 下 ， 用 传统 
BP 训练 ， 可 能 收敛 不 到 目标 值 ， 或 者 收敛 步 数 太 长 ， 而 用 遗传 BP 算法 进行 训练 ， 遗 传 算法 寻找 最 
优 权 值 阔 值 会 用 一 些 时 间 ， 但 比 BP 的 训练 还 是 快 ， 在 很 短 的 时 间 内 就 能 收敛 到 目标 值 。 


4.2.13 demo () 


功能 基于 遗传 神经 网 络 的 图 像 分 割 示 例 程序 。 

格式 retstr= demo0)。 

说 明 演示 对 特定 类 型 的 一 类 图 像 进行 分 割 。 在 分 割 之 前 要 做 好 二 项 工作 ， 一 是 提取 前 景 和 背 
景 的 特征 值 ， 二 是 用 提取 好 的 特征 值 进行 遗传 神经 网 络 训练 。 
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4.3 程序 解析 


下 面 以 L-M 算法 中 的 神经 网 络 训练 和 仿真 函数 为 例 ， 了 予以 详细 说 明 。 
1、L-M 神经 网 络 训练 函数 

fonction retstr= LmTrain(ModelNo,NetPara,TrainPara,InputFun,OutputFun,DataDin) 
NNTWARN OFF 

retstr 一 1 

%% 

% 输入 参数 赋值 开始 ， 这 部 分 代码 主要 是 方便 用 户 调试 用 

%% 

%ModelNo='1 

%NetPara()=7; 

%NetPara(2 六 1; 

%NetPara(3 广 28; 

%NetPara(4)=10; 

%TrainPara(1)=25; 

%TrainPara(2 关 1000; 

%TrainPara(3)=0.001; 

%TrainPara(4)=0. 








%TrainPara(6)= 
%TrainPara(7)=0.1; 
%TrainPara(8)=1el10; 
%DataDir='… 
%InputFun = "tansig'; 
%OutputFun = purelin ; 
号 

%% 输入 参数 赋值 结束 
%% 





% 保 留 原 目录 
olddir=pwd; 
% 进 入 数据 所 在 目录 
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cd(DataDir); 


deltalin(1); 
deltalog(1); 
deltatan(]1); 
% 网 络 参数 





InputDim=NetPara(]); % 输 入 层 节点 数 
OutputDim=NetPara(2); % 输 出 层 节点 数 
MidDim=NetPara(3); % 中 间 层 节点 数 


data_num=NetPara(4); % 训 练 数据 组 数 
% 网 络 训练 参数 
让 (TrainPara == -1) 


else 


end 








dfe25; 

me= 1000; 

cg= 0.001; 

lr= 0.001; 

lr_ inc = 0.001; 

lr idec= 10; 

mom_const= 0.1; 

err_ratio = lel10; % 最 大 误差 比率 lel0 
d 人 TrainPara(1); % 显 示 间 隔 次 数 25 
me=TrainPara(2); %% 最 大 循环 次 数 1000 
eg=TrainPara(3); % 目 标 误 养 0.02 
lr=TrainPara(4); % 学 
lr_inc=TrainPara(35); % 学 习 速 率 增加 比率 0.001 


lir_idec=TrainPara(6); 。。 % 学 习 速率 减少 比率 10 
mom_const=TrainPara(7); % 动 量 常数 0.1 
err_ratio=TrainPara(8); % 最 大 误差 比率 lel0 


%% 输入 层 到 中 间 层 的 传递 函数 
让 (length(InputFun)==-0) 


end 


InputFun = 'tansig'; 
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%% 中 间 层 到 输出 层 的 传递 函数 
让 (length(OutputFun)= 一 0) 
OutputFun = 'purelin'; 
end 
tp=[dfmeeglrlr inc lr idec mom_consterr_ratio]; 
9%tp=[df me eg 0.001 0.001 10 0.1 le10]; 


frin_para=fopen(sprintfl'input_para%bs%s,ModelNo,'txt),r); % 输 入 数据 文件 
frout_para=fopen(sprintfr'output_para%bs%s',ModelNo'txt),r);  % 输 出 数据 文件 
p,countlj=fcanftfrin_paray%f,[InputDim,data num]);。% 取 输入 数据 

bcountj= 人 canflfrout_para%f,[OutputDim,data_ num]); % 取 输出 数据 
felose(frin_para); 

felose(frout_para); 






pq]=size(p); [S2,q]=-size(b; 
wl,b1l]=rands(MidDim,r); 
WwW2,b2]=rands(S2,MidDinn); 


NNTWARN OFF 
w1l,bl,w2,b2,epochs,errors]=trainlm(w1l,bl,InputFun,w2,b2,OutputFun,p,btp); 





% 将 网 络 训练 结果 写 入 文件 
fww1l=fopen(sprintfl'w9%s%s,ModelNo,1.dat),w); 
fwbl=fopen(sprintffb%s%s,ModelNov1.dat 
fww2=fopen(sprintflt'w9%s%s,ModelNo,2.dat),w'); 
fwb2=fopen(sprintftb9%s%s',ModelNo,2.dat),w); 





fprintffww1%9.4fvwl); 
印 rintffwwb1,%69.4f ,bl); 
fprintffww2,9%09.4fnvw2); 
fprintffwb2,%9.4fin,b2); 


felose(fww1l); 
人 flose(fwb1l); 
人 elose(fww2); 
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felose(fwb2); 


% 将 训练 过 程 误 差 写 入 误差 文件 
ferr=fopen(sprintfl'lm_err%os%s,ModelNov.dat)w7); 
fprintftferr'%10.6fn',errors); 

felose(fern); 

cd(olddin; 

retstr=-epochs; 

close all; 

函数 调试 ; 

将 “输入 参数 赋值 开始 ”和 “输入 参数 赋值 结束 ”部 分 的 代码 行 注释 去 掉 ， 
点 击 菜单 “Debug/Run” 或 直接 按 F5 键 ， 程 序 即 可 运行 ， 界 面 如 图 4-1: 


局 Editor - DMIATLADTVworkVnnToolKitMlanetMLaTrain- 间 

File Rdait Text Cell Tacls Debug lesktop Window Help mxX 

口 咏 司 | 区 晤 钨 呈 忆 | 入 | 约 天 | 目 站 | 自作 芭 目 想 |man 可 口 台 
roavCpararT 





[rz q]=size(p); [s2,q]=size(t); 


[wl,bl]=rands idDims r) ; 
[w2,b2]=rands(s2,JfidDinm) ; 


NIWARN OFF Figure 1 


[wl, bl, w2,b2, epochs, errors] 
口 太 加仑 | 用 | 和 尽 入 辐 | 口 加 | ” 
% 将 网 络 训练 结果 写 入 文件 Sum-Squared Network Erorfor3 Epochs 
91 @ 申 fwwl=fopen(sprintfC wsfs 站 证 
92 - ”fwbl=fopen(sprintf (bs%s'， 
归 -= ”fww2=fopen(sprintf (we%s 
9 - ”fwb2=fopen(sprintf (bsgs'， 
95 
96 - ”fprintf (fwwl，%9.4f，，vl); 
97 - fprintf (fwbl，%9.4f“，,bl); 
98 - ”fprintf (fww2，%9.4f\n yw2) ; 
长 


豆 


Sum-Squared Error 














图 4-1LM 网 络 训练 函数 调试 及 训练 误差 
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程序 运行 完成 后 , 会 在 程序 的 同一 个 文件 夹 中 产生 bl1.dat\b12.dat、 w11.dat、 w12.dat\lm_errl.dat 
等 文件 。 


2、L-M 神经 网 络 仿真 函数 

function retdouble = LmSimu(ModelNo,NetPara,SimulatePara,InputFun,OutputFun,DataDir) 
NNTWARN OFF 

吧 

% 输入 参数 赋值 开始 ， 这 部 分 代码 主要 是 方便 用 户 调试 用 

%%ModelINo=1' 

%NetPara(1)=-7; 

%NetPara(2 六 1; 

%NetPara(3)=28; 





%SimulatePara(1)=0.495723; 
%SimulatePara(2)=0.286143; 
%SimulatePara(3)=0.849300; 
%SimulatePara(4)=0.839320; 
%SimulatePara(S)=0.932467; 
%SimulatePara(6)=0.428714; 
%SimulatePara(7)=0.100800; 


%DataDir-'… 
%InputFun = "tansig' 
%OutputFun = purelin'; 
%% 

% 输入 参数 赋值 结束 
%% 

retdouble = -1 
olddir=pwd; 

% 数据 廊 在 目录 
cd(DataDir); 


%% 输入 层 到 中 间 层 的 传递 函数 
放 (length(InputFun)=-0) 
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InputFun = 'tansig'; 
end 
% 中 间 层 到 输出 层 的 传递 函数 
if(length(OutputFun) 一 0) 
OutputFun = purelin' 
end 


% 读 入 训练 好 的 神经 网 络 的 权 域 值 参数 
frw1l=fopen(sprintfl'w9%os%s,ModelNo,'1.dat)vr); 
frbl=fopen(sprintfb9%ps%os,ModelNo,"1.dat),r); 
frw2=fopen(sprintfl'w%os%s',ModelNo,2.dat)vr); 
frb2=fopen(sprintfrbyps%ps,ModelINo,2.dat),r); 


InputDim=NetPara(1); % 输 入 层 节 
OutputDim=NetPara(2); % 输 出 层 节点 
MidDim=NetPara(3); % 中 间 层 






[wlcountj=fscanffrw1l,%f,[MidDim,InputDim]); 
[bl,countj=fcanflfrbl,%f,[MidDim,1]); 
[w2,countl=fcanffrw2,%f,[OutputDim,MidDim]); 
[b2,countlj= 全 canflfrb2,%f,[OutputDim,1]); 


felose(frwl); 
felose(frb1l); 
felose(frw2); 
felose(frb2); 


fori=1l:InputDim 
pl(D)=SimulatePara(i); 
end 


% 网 络 仿真 
a=simufftplvwl,blInputFun,w2,b2,OutputFun): 


% 将 仿真 结果 写 入 文件 
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fwresult=fopen(sprintffresulty%os%s',ModelNo, .dat),w): 
fprintffwresult%o-15.6fmn',a); 

felose(fwresultb; 

retdouble = a; 

logsie(D); 

purelin(]); 

tansig(]); 

cd(olddin; 


函数 调试 : 
1) 将 “输入 参数 赋值 开始 ”和 “输入 参数 赋值 结束 ”部 分 的 代码 行 注 释 去 掉 ， 
2) 点 击 菜单 “Debug/Run” 或 直接 按 F5 键 ， 程 序 即 可 和 运行， 运行 完 成 后 ， 会 在 函数 同一 文件 








夹 下 产生 resultdat 网 络 测试 结果 文件 。 
4.4 工具 包 扩 展 
针对 有 时 用 户 希 望 能 对 nnToolKit 神经 网 络 工具 包 进 行 扩展 ， 增 加 一 些 自 定义 函数 ， 







简单 的 ， 步 骤 如 下 : 

照 节 ， 编 写 用 户 自己 的 函数 〈.m)。 

2. 打开 工程 文件 nnToolKitcbl， 将 自 定义 函数 加 入 到 工程 中 。 
3. 编译 ， 打 包 。 


4.5 应 用 举例 


4. 5.1 基于 LM 神经 网 络 的 房地产 开发 风险 预测 模型 


1. 案例 描述 

房地产 开发 存在 风险 ， 其 影响 因素 〈 输 入 ) 主要 包括 : 
通货 膨胀 风险 ， 可 分 为 升 高 、 不 变 、 降 低 。 

1D 市场 低 供求 风险 ， 可 分 为 供 大 求 、 平 衡 、 供 小 求 。 
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2) 
3) 
动 
5 
9 


世 


并 


根据 案例 描述 ， 设 训 


周期 风险 ， 可 分 为 第 一 阶段 、 第 二 阶段 、 第 三 阶段 、 第 四 阶段 。 

利率 风险 ， 可 分 为 提高 、 不 变 、 降 低 。 

政策 风险 ， 可 分 为 有 利 、 无 新 政策 、 不 利 开发 。 

区 位 风险 ， 可 分 为 升值 、 不 变 、 降 值 。 

开发 期 风险 ， 可 分 为 较 长 、 正 常 、 缩 短 。 
发 风险 (输出 ) 可 分 为 5 类 : 无 风险 、 风 险 较 低 、 一 般 风 险 、 风 险 较 高 、 风 险 很 高 ， 为 了 能 
对 开发 风险 进行 有 效 地 评估 和 预测 , 在 此 拟 建立 神经 网 络 预测 模型 ,实现 对 房地产 开发 风险 的 预测 。 


程序 实现 





如 表 4-2 廊 示 的 数据 映射 关系 ， 并 进而 模拟 产生 一 组 专家 样本 数据 ， 建 立 


一 个 网 络 结构 为 7-5-1 的 神经 网 络 模型 。 


表 4-2 网 络 节点 数据 映射 关系 






























































分 析 风 险 类 输入 转换 输出 转换 
升 高 0.8 
1、 通 货 膨胀 风险 不 变 0.5 0 
降低 0.2 
供 大 于 求 0.3 
2、 市 场 低 供求 风险 平衡 0.6 风险 较 低 0.8 
供 小 于 求 0.8 
第 一 阶段 0.1 
3、 周 期 风险 人 一 般 风险 人 
第 三 阶段 0.6 
第 四 阶段 0.8 
提高 0.2 
4、 利 率 风险 不 变 0.5 风险 较 高 0.3 
降低 0.9 
S、 政 策 风 险 有 利 0.9 风险 很 高 0.1 
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无 新 政策 0.8 

不 利 开发 0.2 

升值 0.9 

6、 区 位 风险 不 变 0.6 
降 值 0.3 

较 长 0.2 

7、 开 发 期 风险 正常 0.5 
缩短 0.7 

将 输入 和 输出 样本 数据 分 别 写 入 input_para.tkt 和 output_para.txt 文件 , 在 MATLAB 环境 下 , 直 
接 运 行 LmTrain.m 文件 ， 即 可 完成 对 指定 样本 数据 的 训练 ， 图 4-2 显示 训练 过 程 均 方 误 差 。 


File Edit Yiew Insert Tools Desktop 时 indow 。 Help 


口 芒 园 | 电 忆 和 加 | 蝎 | 口 国 | 旧 喇 
Sum-Squared Network Error for8 Epochs 
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4-2 训练 过 程 均 方 误 差 
要 实现 开发 风险 预测 ， 只 需 将 相关 参数 传 入 LmSimu.m 文件 ， 在 MATLAB 环境 下 运行 即 可 得 
到 预测 结果 。 


4. 5. 2 模糊 神经 网 络 预测 地 基 沉 降 量 


1 案例 描述 
建筑 物 在 施工 过 程 中 和 施工 结束 后 ， 往 往 会 产生 一 定 的 沉降 量 ， 而 影响 结果 的 主要 因素 ， 又 主 
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要 与 时 间 、 土 的 性 质 、 与 施工 面 的 距离 、 支 护 结构 参数 、 工 程 进度 快慢 、 
关 。 为 了 能 有 效 地 预测 下 一 个 阶段 (如 10 天 ) 将 要 发 生 的 沉降 值 或 最 终 
神经 网 络 算法 ， 实 现 预 测 过 程 。 经 综合 分 析 ， 归 纳 出 如 下 几 个 方面 作 
的 影响 因素 : 

(D) 时 间 

(2) 距 掌 子 面 距离 

(3) 断面 埋 置 深度 

(4) 围 岩 类 型 

(5) 地 下 水 含量 

(6) 钢 拱 架 间距 

同时 准备 如 图 4-3 所 示 的 专家 样本 数据 : 


地 下 水 渗水 情况 等 因素 有 
【 降 量 ， 这 里 介绍 采用 模 精 
响 预 测 结果 〈 累 计 沉降 量 ) 












四 Microsoft Excel -saaple-z 





具 B 加 D 下 了 G 恒 
天 数 距 掌 子 面 距 高 断面 埋 置 深度 围 岩 类 型 地 下 水 含量 钢 拱 架 间距 累计 涡 降 值 
.65 1.3 











3 5 有 
3 3.1 
3 5.2 
3 6.8 
3 语法 
3 16.7 
3 19.5 
3 24.3 
3 28.6 
3 31.6 
3 34.1 
3 38.2 
3 42.7 
3 45.0 
3 46.3 
3 47.6 
3 48.3 
3 51.6 
3 51.9 
3 53. 4 
21 23 30 3 53.7 ” 峡 
ML 44， MINSheetlSheet2XSheet57 中 | 
就 结 到 
图 4-3 地 基 沉 降 量 专家 样本 数据 
2. 代码 实现 
(4) 网 络 训练 


fnction retstr= FnnTrain(dtJd,ttsp) 
Tetstr=-1; 
号 
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% 输入 参数 赋值 开始 ， 这 部 分 代码 主要 是 方便 用 户 调试 用 
% 调试 时 将 其 中 的 注释 去 掉 ， 直 接点 击 菜单 “Debug/Run” 或 直接 按 F5 键 ， 程 序 即 可 运行 
吃 


% dt=4; % 学 习 阔 值 

% 1d-0.05; 。 % 学 习 进 度 

% tt=10; % 训 练 次 数 

% sp='datasample.txt: 。 % 一 个 点 的 监测 数据 
上 % 

% 输入 参数 赋值 结束 

网 


global recordDimention; 
global sampleNumber'; 
global weightNumber; 
global distanceThread; 
global WW; 

global learningDegree; 
global epochsNumber'; 


distanceThread=dt' 
learningDegree=ld; 
traintimes=tt; 
A=load(sp); 


[Arow Acol]=size(A); 
% 样 本 个 数 
sampleNumber=Arow': 
recordDimention=Acol; 
disp(sampleNumber); 
WW=A(1.); 
WwW=[WW []; 
weightNumber=-1; 
epochsNumber=1; 


forjj=2:1:sampleNumber 
TrainNN2(A(Uj,:)); 
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end 
forjtl:traintimes-1 
forjt2=1:sampleNumber 
TrainNN2(A(j,:)); 
end 
end 
吧 将 训练 结果 写 入 权 值 文件 
dlimwrite(datavw.dat,WWAt); 
% 
%% 训练 子 函数 
% 
fonction TrainNN2(a) 
global recordDimention; 
global sampleNumber' 
global weightNumber 
global distanceThread; 
global WW; 
global learningDegree; 
global epochsNumber'; 


Ldistance=zeros(2,weightNumben); 

forjl=1l:weightNumber 
Ldistance(2j1)=jl1; 

end 


% %%9%%% 输 入 输出 空间 的 模糊 分 割 





forj3=1:recordDimention 
Lx=Lx + (a03) - WW02j3)) .* (aG3) - WW02j3) 
end 
Ldistance(1,j2)=sqrt(Lx): 
end 
% %%9%%% 计 算 模糊 空间 的 距离 
Lx1l=Ldistance(1,1); 
Lx2=Ldistance(2,1); 
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forj4=2:weightNumber 
这 Ldistance(1j4)<Lxl) 
Lxl=Ldistance(1j4); 
Lx2=Ldistance(2,j4); 
end 
end 
吃 %%6%9%6% 修 正 模糊 规则 
updateW=0; 
nowWeight=Lx2; 
iLxl<=distanceThread) 
forj6=1:recordDimention 
WWowWeightj6)=WWnowWeightj6) + leamingDegree  .*  (a06) 
WWnowWeightj6)); 
end 
WWnowWeighbrecordDimention+TD)=WWnowWeightbrecordDimention+1)+1; 
updateW=1; 
end 


iupdateW==-0) 
weightNumber=weightNumber+1l; 
a=[a []]; 
WW=[WWia]; 

end 


(2) 沉降 量 预 测 
fonction retstr = FnnSimu(kd,sj,td) 
o% 
% 输入 参数 赋值 开始 ， 这 部 分 代码 主要 是 方便 用 户 调试 用 


演 


5 

9% kd=4 
% sj=0.05; 

% td=[37,26,15,3.0.16,1]; 
%% 

% 输入 参数 赋值 结束 





6 调试 时 将 其 中 的 注释 去 掉 ， 直 接点 击 菜 单 “Debug/Run” 或 直接 按 F5 键 ， 程 序 即 可 运行 
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吧 
kuand=kd; 
sjsd=sj; 

%% 加 载 训练 好 的 权 值 文件 
WW=load(datavw.dat); 
[row,col]j=size(WW); 
mu=zeros(1,row); 
bo=WW(:,col-l); 

% %%%%%6 根 据 模糊 规则 计算 预测 结果 
forj=1l:row 

xl=1; 
for 记 1:col-2 
X1=x1 .* 1/(sjsd .* exp(((td(D-WWU,iD)kuand) .* (td(D)-WW(U,iD)kuand))); 
end 
mu(j)=xl; 


X3=0; 
foril=l:row 
X2=x2 + b0(il) .* mulil); 
X3=X3 +mulil); 
end 
%% 返回 网 络 预测 结果 : 某 天 的 累计 沉降 量 。 


retstr=X2/X3; 


3. 程序 运行 

在 MATLAB 命令 窗口 中 输入 FnnTrain(4,0.05,10,data\sample.txt) 即 可 学 习 ( 其 中 sample.txt 为 某 
个 点 的 监测 数据 )， 输 入 FnnSimu(4,0.05,[37,26,15,3,0.16,1]) 即 可 得 到 预测 结果 ， 其 中 传 入 参数 详 见 
函数 说 明 。 另 外 ， 也 可 参见 函数 中 的 注释 说 明 ， 在 调试 环境 直接 运行 程序 。 


4. 5. 3 基于 遗传 神经 网 络 的 图 像 分 割 


1. 案例 描述 
遗传 神经 网 络 在 特征 分 类 方面 ， 有 着 非常 广泛 的 应 用 。 通 过 先期 的 学 习 ， 能 够 分 类 出 特定 的 对 
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像 或 特征 。 将 其 用 在 图 像 分 割 上 面 ， 主 要 对 特定 类 型 的 一 类 图 像 进行 分 割 。 如 ， 在 一 副 含有 苹果 和 
草莓 的 图 像 当中 ， 分 割 出 苹果 或 者 草莓 ; 在 一 副 含有 人 的 图 像 中 ， 分 割 出 肤色 区 域 。 在 本 例 中 ， 主 


要 将 其 用 在 医学 图 像 的 分 割 上 。 


在 分 割 之 前 要 做 好 两 项 工作 : 一 是 提取 前 景 和 背景 的 特征 值 ， 二 是 用 提取 好 的 特征 值 进行 遗传 


神经 网 络 训练 。 
(1) ”提取 特征 值 





主要 通过 手工 对 图 像 进行 分 析 ， 确 定 前 景色 的 范围 和 背景 色 的 范围 ， 然 后 把 前 景色 和 背景 色 按 
顺序 存 入 一 个 数组 中 ， 生 成 的 这 个 数组 就 为 训练 样本 数组 。 然 后 再 建立 一 个 同样 大 小 的 数组 ， 来 保 


存 样本 的 特征 值 。 如 果 为 前 景 则 特征 值 为 1， 背 景色 特征 值 为 0。 
(2) ”遗传 神经 网 络 训练 


将 上 一 步 提取 好 的 样本 值 和 特征 值 送 入 遗传 神经 网 络 进行 训 练 。 遗 传神 经 网 络 首先 在 权 值 阔 值 
的 值 空间 中 ， 搜 索 出 一 组 最 合适 的 权 值 和 阔 值 ， 将 此 设置 为 神经 网 络 的 初始 权 值 阔 值 。 然 后 再 进行 


训练 ， 直 到 均 方 误差 收敛 到 指定 值 ， 或 者 达到 最 大 友 代 次 数 。 此 时 的 神经 网 络 是 最 优 的 。 


(3) 图 像 分 割 


可 以 将 图 像 分 制 看 成 一 个 分 类 的 过 程 。 图 像 (G) 中 的 每 一 个 像素 (Gij) 是 一 3 
1 Vi， 这 个 特征 值 决 





将 这 个 样本 送 入 遗传 神经 网 络 〈sim) 进行 分 类 ， 将 输出 一 个 








于 其 中 一 类 的 概率 。 可 以 决定 ， 如 果 该 值 大 于 0.5， 那 么 认为 它 是 前 景 (F)， 否 则 它 就 是 背景 (B)。 


J7=sim(GCD 
忆 17>=0.5 
而 = 信 卫 > 
已 厅 <0.5 
其 中 ，H 为 分 割 后 的 图 像 。 
2. 代码 实现 
fonction retstr = demo() 
NNTWARN OFF 
retstr=-1; 
% 
% 用 于 产生 样本 文件 
generatesample('datasample.mat); 
2% 
% 遗 传神 经 网 络 训练 示例 
gaP = [100 0.00001]:; 
bpP = [500 0.00001]; 
load(datavsample.mat); 
gabptrain( gaP,bpP,p,t ) 
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号 

%% 神 经 网 络 分 割 示例 

load(datawmetmaty; 

img = imread(imageva.bmp'); 

bw = segment( nebimg ) ; 

figure; 

Subplot(2,1,1); 

imshow(img); 

Subplot(2,1,2); 

imshow(bw); 

号 

% 传 统 BP 训练 

吧 出 现 的 结果 ， 可 能 收敛 不 到 目标 值 ， 或 者 收敛 步 数 太 长 356 步 ) 
epochs = 2000; 

goal = 0.00001 ; 

net = newcft[0 255],[6 1],ftansig' purelin'》); 
net,trainParam.epochs = epochs; 
nettrainParam.goal = goal ; 
load(datavsample.mat); 

net = train(nebp,tb); 

%% 

% 遗 传 BP 训练 

% 遗 传 算法 寻找 最 优 权 值 阔 值 会 用 一 些 时 间 ， 
%bp 的 训练 还 是 非常 块 ，38 步 就 收敛 到 的 目标 值 
8gaP = [100 0.00001]; 

bpP = [500 0.00001]; 

gabptrain( gaP,bpP,p,t); 


3. 程序 运行 


程序 在 MATLAB7.0 下 运行 ， 要 求 安装 有 遗传 算法 工具 包 ， 直 接 运 行 demo.m 文件 。 主 要 界面 
分 别 如 图 4-4~4-7 所 示 : 
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Training 豆 Ith TRAINIL 夏 


Fils Hait 瑟 ew Insert Tools asktep 了 ndor Melp 


Performance is 9.47684e-006, Go: 





Training-Blue GoalHBlack 





人 
231 Epochs 


图 4-4 结合 遗传 算法 的 神经 网 络 训练 过 程 误差 
Figure 2 司 回 加 | 


了 il Edi Yiey Inser Tool Deskte Winao el 


口 沪 园 瑟 | 思 尽 和 名 | 司 ” 








4-5 图 像 分 割 结果 
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Genetic ALgorithm 





图 4-6 遗传 算法 适应 值 计算 





Training with TRAINIL 看 
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图 4-7 传统 BP 神经 网 络 训练 过 程 误差 
4. 5. 4 小 波 神经 网 络 在 1-0 插值 上 的 应 用 


1， 案例 描述 

小 波 神经 网 络 应 用 于 1-D 插值 。 

2. 代码 实现 

fonction retstr = wnndemo() 

NNTWARN OFF 

retstr=-]1; 

咯 

%% 加 载 训练 数据 

X= (-1:.05:1) 

号 

% 输出 

y=(-2.186*x-1.2864) * (X<-0.2)+4.246*X*((Xx>=-02) 区 (X<0))… 
十 (exp(-0.5 .#X - 0.5) .*# Sin((3 .#X 十 7) .#X)) .二 (X>0); 
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喇 
% 绘制 输入 输出 关系 
clf plot(x,yY'o7); 
xlabel(x?; ylabel(y); title( 输入 输出 关系 ?; 
品 
% 插值 
%% 可 以 在 网 络 中 设置 小 波 数 或 者 用 FPE 规则 在 线 选择 
%% 训练 过 程 
Key = keymenu(Make your choice',"Use 9 wavelets'"On-line choice'); 
让 Key==1 

th = wnetreg(y, x, 9, 4, 3, 1, 5); 

% Use 9 wavelets, 4 iterations, initialization mode 3， 

% minimum number of covered data points 1, scanned levels 5. 
else 

th = wnetreg(y x, [], 4, 3, 1, 5); 
end 








机 








%% 对 结果 进行 检测 和 评价 
1:.01:1)5 
avenet(xg, th); 








%% 绘制 插值 结果 
plot(x,y'ov xg,yg,":); xlabel(x?; ylabel(y); title( 插 值 结 果 ?; 





将 小 波 神经 网 络 工 有 具 箱 wnet 拷贝 到 MATLAB 的 work 目录 下 , 打开 wnndemo 文件 , 直接 运行 ， 
主要 界面 如 图 4-8~ 图 4-12 所 示 。 
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4-8 输入 输出 关系 图 





图 4-9 选择 小 波 神经 网 络 训练 结果 
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Rile Edit 王 ew JInsert Tools Desktop Yindow Help 3 


口 敬 加 委 | 愉 和 尽 区 刁 写 上 口 国 | 昌 品 
Network Error 
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0.03 





0.02 
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图 4-10 网 络 误差 


辐 四 四 
File Edit Yiew Insert Tools Desktop Window Help 也 


口 态 加 仿 | 有 和 入 区 辐 | 恨 | 口 国 | 目 品 
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Samples 





图 4-11 单个 样本 误差 
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Figure 1 
File。 Edit 旺 ew Insert Tools Desktop Window Help 


口 咏 加 全 | 上 和 入 如 刁 | 归 | 口 国 | 目 品 
揪 值 结果 














图 4-12 插值 结果 


练习 题 
1、 谈 谈 你 对 nnToolKit 神经 网 络 工具 包 的 认识 。 
2、 通 过 什么 方法 可 以 在 其 它 高 级 语言 中 调用 nnToolKit 工具 包 函数 ? 
3、 请 分 别 用 遗传 算法 优化 神经 网 络 权 值 算法 、 小 波 神经 网 络 算法 实现 4.5.1 节 记 示 的 房地产 开发 风 
险 预 测 ， 并 对 其 结果 进行 比较 。 
4、 结 合 某 一 实际 案例 ， 对 nnToolKit 神经 网 络 工具 包 进 行 扩 展 ， 增 加 一 些 自 定义 函 数 ， 从 而 实现 对 
案例 的 训练 与 仿真 。 
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第 5$ 章 MATLAB 混合 编程 技术 


5.1 概述 


MATLAB 是 一 款 强 大 的 工程 计算 和 仿真 软件 , 其 中 的 神经 网 络 工具 箱 提 供 了 大 量 可 直接 调用 的 
函数 和 命令 ， 基 本 上 囊括 了 目前 应 用 比较 成 熟 的 神经 网 络 设计 方法 。 用 MATLAB 来 编写 各 种 网 络 
仿真 和 训练 程序 ， 可 以 使 用 户 从 繁琐 的 编程 中 解脱 出 来 ， 大 大 提高 工作 效率 。 

基于 MATLAB 的 工具 箱 函数 实现 神经 网 络 混合 编程 的 方法 很 多 ， 如 : 基于 Matlab C/C++ 数学 
库 、 基 于 Matlab Engine、 基 于 ExcelLink、 基 于 COM/Excel 生成 器 、 基 于 Matlab web server、 基 于 
自动 化 链接 、 基 于 Matlab 的 DDE 功能 ， 都 可 以 实现 混合 编程 。 前 一 章 介 绍 了 nnToolKit 神经 网 络 工 
具 包 ， 它 就 是 在 MATLAB 神经 网 络 工具 箱 基础 上 开发 的 一 组 神经 网 络 算法 函数 库 ， 它 能 方便 打包 
成 DLL 组 件 , 供 支持 COM 的 高 级 语言 廊 引 用 。 正 因为 利用 MATLAB COM 生成 器 和 Excel 生成 器 ， 
可 以 快速 实现 基于 MATLAB 的 混合 编程 , 实现 复杂 的 算法 应 用 。 本 章 将 主要 介绍 如 何 利用 MATLAB 
的 COM Builder 和 Excel Builder 来 创建 我 们 自己 的 组 件 ， 以 及 如 何在 高 级 语言 中 调用 这 些 组 件 。 









5.2 COM 生成 器 COM Builder) 


COM (Component Object Model， 组 件 对 象 模型 ) 是 以 组 件 为 发 布 单元 的 对 象 模型 ， 是 一 系列 
面向 对 象 技术 和 工具 的 集合 。 由 于 COM 是 建立 在 二 进 制 级 别 上 的 规范 ， 亡 以 组 件 对 象 之 间 的 交互 
规范 不 依赖 于 任何 特定 的 开发 语言 。 使 用 该 集合 ， 软 件 开发 人 员 可 以 用 不 同 厂商 提供 的 组 件 集成 他 
们 自己 的 应 用 程序 。 

从 6.5 版 开始 ，MATLAB 提供 了 COM 生成 器 。COM 生成 器 提供 了 实现 MATLAB 独立 应 用 的 
一 种 新 途径 。 它 能 把 MATLAB 开发 的 算法 做 成 组 件 ， 这 些 组 件 作为 独立 的 COM 对 象 ， 可 以 直接 被 
C++Builder、Visual Basic 或 其 他 支持 COM 的 语言 床 引 用 。 下 面 详细 介绍 如 何 利用 COM Builder 生 
成 器 实现 对 上 一 章 介 绍 的 nnToolKit 工具 包 进行 封装 。 
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5.2.1 创建 nnToolKit 的 COM 组 件 


用 MATILAB COM 生成 器 创建 COM 组 件 是 一 个 简单 的 过 程 ， 只 需要 4 个 步骤 ， 即 创建 工程 、 
管理 M 文件 和 MEX 文件 、 生 成 组 件 、 打 包 和 分 发 组 件 。 

1. 创建 nnToolKit 工程 

在 MATLAB 命令 行 中 输入 命令 comtool, 打开 “MATLAB COM Builder "对话 框 , 它 是 MATLAB 
COM 生成 器 的 主要 工作 环境 。 


在 “File” 菜 单 中 选择 “New Project” 选 项 ， 将 弹出 “New Project Setting” 对 话 框 ， 如 图 5-1 
启示 。 


Wew Project Settings 


[ 中 MATLAB6p5NworknToolKi 
Browse … 


Compile codeim 
GC 
三 Cr+ 


Compiler options 
FiseHandie Braphicsibragy 
厂 Buid debug version 
厂 Show verbose output 
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图 5-1 创建 nnToolKit 工程 


在 “Component name” 文 本 框 中 输入 组 件 名 nnToolKit (DLL 文件 )， 该 组 件 名 输入 后 ， 生 成 器 
自动 在 “Class name ”文本 框 中 产生 一 个 同名 的 类 名 nnToolKit。“Project version ”文本 框 中 为 版 本 号 ， 
默认 为 1.0。“Project directory” 文 本 框 为 在 编译 和 打包 模型 时 ， 工 程 和 相关 文件 的 存放 位 置 ， 这 里 
为 “DAMATLAB6p5\workwnnToolKit”。 由 于 神经 网 络 训练 时 要 用 到 MATLAB 的 图 形 库 ， 故 在 工程 
设置 界面 中 要 选中 “Use Handle Graphics library” 复 选 杠 ， 其 它 默认 设置 即 可 。 点 击 “OK” 按 钮 ， 
将 在 指定 目录 下 自动 创建 一 个 新 的 工程 文件 nnToolKitcbl， 以 后 可 以 通过 “File/Open Project” 操 作 
打开 已 生成 的 nnToolKitcbl 项 目 文件 ， 来 修改 该 工程 。 

2， 管理 M 文件 〈 神 经 网 络 相关 函数 ) 

单 击 “Add File” 按 钮 或 从 “Project” 菜 单 中 选择 “Add File.….” 选 项 ， 将 已 调试 好 的 神经 网 络 
相关 函数 (LmTrain.m、LmSimu.m 等 ) 加 入 到 项 目 中 。 

3. 生成 nnToolKit 组 件 

定义 好 工程 设置 并 添加 了 相关 神经 网 络 函数 后 ， 通 过 “Build” 菜 单 中 的 “COM Object” 选项 或 
直接 单 击 “了 Build ”按钮 来 调用 MATILAB 编译 器 ， 把 中 间 源 文件 写 到 
DAMATLAB6pS\workwmnToolKitsrc 目录 中 ， 将 必要 的 输出 文件 写 到 
DAMATLAB6pS\workmnToolKitwdistrib 目录 中 ,“Build Status” 面 板 显 示 生 成 过 程 的 输出 ， 如 图 5-2 
所 示 。 
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了 ATLAB CO 看 Builder - mnToolEit- cbl 
File Project Build Component Help 


TProject File 


Add File 
攻 Project Files 


日 -外 nnToolKit 














4. 打包 和 分 发 组 件 


uild Statu: 
fYouonly haveto do this configuration step onceJ) 


nntoolkit_idlidl 
oaidlidl 
objidlidl 
unknwnidl 
jwtypes.idl 
ocidl,idl 
oleidlidl 
Servprov,idl 
urImon,idl 
Imsxmlidl 
Imwcomtypes,idl 


Creating distrib directory. 
Moving filesto distrib 








Standalone DLL build complete. 


人 








Build 


图 $-2 COM 生成 器 主 窗口 





一 旦 模型 编译 成 功 并 进行 了 测试 ， 就 可 以 打包 并 分 发 了 。 从 “Component ”菜单 中 选择 “Package 
Component” 选 项 ， 将 创建 包含 如 表 5-1 所 示 文 件 的 自 解压 可 执行 程序 。 
表 S-1 自 解压 文件 nnToolKitexe 包含 的 文件 








文 件 功 能 
_install.bat 由 自 解压 可 执行 程序 运行 的 脚本 
nnToolKit 1 0.dll 编译 后 的 组 件 
msglinstallerexe MATLAB 数学 库 和 图 形 库 安装 器 
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Mwcomutil.dll COM 生成 器 工具 库 
mwregsvrexe 在 目标 机 器 上 注册 DLL 可 执行 程序 





自 解压 可 执行 程序 的 名 称 为 nnToolKitexe。 在 计算 机 上 运行 安装 器 ， 将 按 以 下 步骤 进行 ; 

1) msglinstaller 安装 MATLAB C/C++ 数 学 库 和 图 形 库 。 

2) 添加 msglinstaller 创建 的 目录 <application>\bin\win32 目录 到 环境 变量 path 中 ， 其 中 
<application> 表 示 配 置 应 用 的 根 目录 。 

3) mwregsvr 注册 mwcomutil.dll 和 nnToolKit 1 0.dll。 

必须 在 每 个 需要 安装 组 件 的 计算 机 上 重复 本 发 布 过 程 ， 下 面 详细 介绍 组 件 的 安装 和 使 用 。 






5. 2. 2 nnToolKit 组 件 的 安装 


直接 运行 nnToolKitexe 自 解 压 安装 文件 ， 进 入 图 5-3 所 示 的 界面 : 











TITTTTTTIRTE7ETTTTSTIECITTTITETTT2TTIDTTETTE7TETTSDTTT7T 
send bug reports to supportemathuorks -com- 

inflating: _instal1.bat 

inflating: nnToolKit_1_9-dl1 

nflating: mglinstaller-exe 

inflating: mwcomutil-dl1 

inflating: mclcommain .dl1 

nflating: mwm 

inflating: bin/FiguzreMenuBar-fig 

inflating: bin/PiguxreToolBar -fig 


\2NSOFTnnTooJKit>echo off 
ject nnToolKit。version 1_8 
~” by Info-ZIP. Modified by The MathWor] 
upportemathwor 
taller-exe 
nflating: mglarchivue -exe 
IRTLRB Math and ics Run-~Time Library Installer version 1.1- 


application installs MRILRB Math and Graphics Run-~Time Libraries - 
libraries are necessary to run applications built with the MRTLhB 
Math Library。or Graphics Library- 1 
e are gouerned by The MathWork e 
na by the application 1i for the application with whi 


installer has finished。you must add the directory《MGRTL 
ur PhRTH enuizronment variable。where 《MGRTL》 represents the dir 
Which you chose to install the zun-~time lihbraries- If you have a MhTLNB 
qirectory 《from a MhRTLRB ii allation》 on your PhRTH。you must add the 
un-~time libraries directory to the PhRTH before the MhTLhRB directory- 


Note: If you already havue installed the run-~time libraries for another 
application。 you do to zeinstall them。Sinply make sure that 
your PRIH is configuzred correctly as mentioned ahboue 


Enter the directory to which to instal1l the zun~time lihbrari 
[default: C:\2NSOFTsnnToolKit 











5-3 nnToolKit 安装 








装 文件 首先 完成 自 解压 ， 计 安装 路 径 ， 用 户 可 以 直接 回 车 ， 即 默认 安装 ， 亲 
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软件 安装 在 当前 安装 文件 所 在 的 路 径 ， 也 可 以 另外 指定 一 个 安装 路 径 。 这里， 选择 安装 到 : 
CN2NSOFTwmnToolKit。 按 回 车 ， 进 入 如 图 5-4 所 示 的 界面 


\2NSOFTVnnToolKitVnnToolKit- exe -日 | 


[Enter the directory to which to install the zun-tine 
[default: C NSOFTsnnToolKit]: 





Pinished succ fully- Pre Enter key xit the installer- 


Puer in binswin3 WwWcomutil-dll succeeded 
in nnToolKit_l1_B8.dll succeeded 


lete 
add the binswin directory created by the installation to your 








5-4 提示 COM 组 件 注 册 和 设置 环境 变量 





按 提 示 继 续 操作 ， 完 成 相关 组 件 的 注册 ， 直 全 nnToolKit 工 上 
提示 ， 还 需要 手工 配置 环境 变量 ， 具 体操 作为: 


入 我 的 电脑 > 届 性 > 环境 变量 ， 将 “C:2 





包 安装 成 功 。 根 所 





安装 时 的 











SOFTwnToolKit\bin\win32” 加 至 path 路 径 中 。 如 
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Path 








LAbin;C:\2NSOFT\nnToolKit\binvwin32; 





[L 驼 JL 亚 








Windows T 

Di:\eraclevproduct\10.1.0\Db_l\b. 
.COW; .EXE; . BAT; . CND; .VBS; ,YE;.. ， 
DT:\eraclevproduet\10.1.0\Db_l\p... 














图 5-5 设置 环境 变量 


5. 2. 3 VB 调用 nnToolKit 神经 网 络 工具 包 实现 混合 编程 


在 VB 环境 下 调用 nnToolKit 神经 网 络 工具 包 ， 开 发 神经 网 络 应 用 系统 ， 主 要 分 为 以 下 几 个 步 
了 骏 : 

1. 创建 神经 网 络 应 用 工程 。 

打开 Visual Basic 开发 环境 ， 并 创建 一 个 新 的 工程 ， 取 名 为 NetProj。 在 NetProj 工程 中 ， 创 建 
两 个 模板 文件 CBpnFile.bas，CNetPara.bas 和 三 个 窗 体 表单 文件 fmAboutffrm，frmLmNetfrm， 
frmUnitary ffrm， 其 中 frmLmNetfrm 为 系统 主 界面 ， 给 空白 的 窗 体 中 添加 控件 ， 如 图 5-6 所 示 ， 并 按 
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表 5-2 中 的 内 容 设 置 控 件 属性 。 


有 
1 es 抽 宇 刁 本 多 必 地 | 五 瑟 二 远 





CICOOIEEOIETICCOI 


人 mtreay hmArtgy 
= 和 dm 

志 GaprFie (CRprFie bm 

岗 Ouerfea (Ontparstb 











图 5-6 创建 fmLmNet 窗 体 
表 5-2 主要 属性 设置 
控件 类 型 控件 名 称 属性 
Frame fNodeNum 神经 网 络 各 层 节 点 数 设 置 框 
TextBox txtNode(0) 输入 层 节 点 数 





TextBox txtNode(2) 中 间 层 节点 数 




































































TextBox txtNode(1) 输出 层 节点 数 

Frame fNetFunc 神经 网 络 传递 函数 设置 杠 
ComboBox combFunc(0) 输入 层 至 中 间 层 传递 函数 
ComboBox combFunc(1) 中 间 层 至 输出 层 传递 函数 
Frame fNetpPara 神经 网 络 训练 参数 设置 杠 
TextBox txtTrainPara(0) 显示 间隔 次 数 

TextBox txtTrainPara(1) 最 大 循环 次 数 

TextBox txtTrainPara(2) 目标 误差 

TextBox txtTrainPara(3) 动量 常数 

TextBox txtTrainPara(4) 

TextBox txtTrainPara(S) 

TextBox txtTrainPara(6) 

TextBox txtTrainPara(6) 

Frame fTrainDataFiles 神经 网 络 训练 数据 文件 设置 框 
TextBox txtTrainIn 训练 输入 样本 文件 
TextBox txtTrainOut 训练 输出 样本 文件 
TextBox txtTrainNum 专家 样本 组 数 

Frame fSimuDataFiles 神经 网 络 仿真 数据 文件 设置 杠 
TextBox txtSimuIn 仿真 输入 数据 文件 
TextBox txtSimuOut 仿真 输出 数据 文件 
TextBox txtSiumNum 仿真 样本 组 数 
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2， 在 工程 中 引用 nnToolKit 库 。 
点 击 菜单 “ProjecUReferences”， 弹 出 如 图 5-7 所 示 的 对 话 框 : 


References - WetProj- vbp 


Visaal Basic For Applications 
网 isual Basic runtime objects and procedure 
回 Wisual Basic objects and procedures 
MDOLE Anatomation 
网 晶 crosoft DAD 3.51 Object Library 
网 且 crosoft Scripting Runtime 
YY 
IIAS Jelper CON Component 1.0 Type Library 
IAS RADIUS Protocol 1.0 Type Library 
Active IDS Type Library 
Active Setup Control Library 
Activellovie control type library 
ActiveX DLL to perform Iligration of IIS Rep 
AdiustDates 蔚 


> 





FnnToolKit 1.0 Type Library 
Location; C:W2N5OFTWnnToolKitnnToolKit_1_.0,dl 











图 5-7 引用 nnToolKit 类 型 库 


如 果 完 成 了 nnToolKit 组 件 的 安装 〈 见 5.2.2 节 )，nnToolKit 1.0 Type Library 将 自动 加 到 有 效 引 
用 列表 中 ， 选 中 nnToolKit 1.0 Type Library， 然 后 单 击 OK 按钮 ， 至 此 ， 该 库 就 加 入 到 当前 工程 中 。 
读者 可 以 尝试 在 Visual Basic 环境 下 ， “View/Object Browser”， 出 现 如 图 $-8 所 示 的 对 话 框 。 
在 <Classes> 栏 中 选中 nnToolKit， 在 右边 的 列表 框 中 显示 nnToolKit 类 的 所 有 成 员 函 数 ， 选 中 某 个 成 
员 函 数 ， 从 下 面 的 备注 框 可 以 发 现 类 里 成 员 函 数 的 参数 形式 与 .M 文件 里 的 参数 形式 是 不 同 的 ， 这 个 
请 读者 注意 。 下 面 的 步骤 就 是 利用 VB 的 知识 调用 这 个 库 。 
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Object Browser 





Wenbers of "nnToclKit 
厂 WoussPointerConstar 交 |- 仿 fitdrawpic 
晴 WoussFointerConstar 和 itforecast 
晴 WoussPointerConstar 


本 olaLinldlodeConstant |: 久 pictrain 
区 了 本 ptrnsimu 
| 本 0LE_TRISTATE 

路 0LEContainerConstar 疼 


Sub latraima (nargpat 4s FonE retstr， lpdeIip， 独 tpara 
Jrafnpara Jputpan，DatpatFan，Dataprr) 


llember of mmToolKit mnToolEit 
Wethod lmtrain 


图 5-8 nnToolKit 成 员 函 数 





现 〈 主 要 代码 ) 


"定义 mnToolKit 神经 网 络 工具 包 的 对 象 实例 LPmNet 
Private LmNet As nnToolKitnnToolKit 
SetLmNet= New nnToolKitnnToolKit 


"网 络 训练 


Private Sub mnuStartTrain_ClickO) 
On Error GoTo Handle_ Error 
"返回 值 
Dim retstr As Variant 








"网 络 训练 基本 参数 
Dim NetTPara(4) As Double 
' 恒 型 编号 
Dim vModelNo As Variant 
VvModelNo = ModelNo 
Fori=0To2 
NetTPara(D) = Nodes(D) 
Next 
NetTPara(3) = TrainSampleNum “' 样 本 个 数 
"网 络 训练 调用 参数 说 明 
"1， 一 个 返回 参数 
Yetstr， 返 回 值 
"网 络 模型 基本 参数 ，Variant 
' 神 经 网 络 参数 ，Double， 包 括 输入 层 节点 数 : 输出 层 节点 数 ; 中 间 层 : 
样 木 个 数 。 
"神经 网 络 训练 参数 ， 若 为 “-1” 表 示 选 择 默 认 参 数 
"网 络 仿真 时 输入 技 
"网 络 仿真 时 中 间 必 
程序 运行 时 的 当前 目录 
Call LmNet.Imtrain(l,retstr"ModelNo,NetTPara,-1,TransFunc(0),TransFunc(1),FilePath) 
MsgBox (" 训 练 完 成 ， 您 现在 可 以 进行 仿真 和 本 
OperStatus_Show (" 训 练 完成 ， 您 现在 可 以 进行 仿真 操作 了 ! 7 
Exit Sub 
Handle_Error: 
MsgBox (ErrDescription) 
End Sub 


"网 络 仿真 














Private Sub mnuTest_ClickO) 
"神经 网 络 仿真 参数 
Dim SimulatePara(7) As Double 
' 恒 型 编号 
Dim ModelNo As String 


S 数 ， 网 络 训练 
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ModeINo = "1" 
Dim fso As New FileSystemObject， 他 As File， ts As TextStream 
On Error GoTo Handle_ Error 
Set fl = fo.GetFile(FilePath + InSimuFile) 
Set ts = fil.OpenAsTextStream(ForReading) 
DataLine = ts.ReadLine 
DataLength = Len(DataLine) 
Fori=0To Nodes(0)-1 
SimulatePara(i) = Trim(Left(DataLine， 5)) 
DataLength = Len(DataLine) 
DataLine = Trim(Right(DataLine， DataLength - 3)) 
Next 
ts.Close 
"网 络 仿真 调用 参数 说 明 
"1， 一 个 返回 参数 
Yetstr， 返 回 值 
"网 络 模型 基本 参数 ，Variant 
' 神 经 网 络 参数 ，Double， 包 括 输入 层 节点 





数 ， 输 出 层 节点 数 ; 中 间 层 节点 数 





"神经 网 络 仿真 参数 ， 若 为 “-1” 表 示 选 择 默认 参 数 
"网 络 仿真 时 输入 层 至 中 间 层 的 传递 函数 









"网 络 仿真 时 中 间 属 
程序 运行 时 的 当 
Call LmNet.Imsimu(l,retst"ModelINo,Nodes,SimulatePara,TransFunc(0),TransFunc(l), 
FilePath) 
OperStatus_Show (" 仿 真 成 功 ， 点 击 “ 数 据 /显示 测试 结果 ”查看 仿真 结果 ! 7 
MsgBox (" 仿 真 成 功 ， 点 击 “ 数 据 /显示 测试 结果 ”查看 仿真 结果 ! 7) 
Exit Sub 
Handle_Error: 
MsgBox (ErrDescription) 
End Sub 


至 输出 层 的 传递 函数 
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5. 2.4 CB 调用 nnToolKit 神经 网 络 工 具 包 实 现 混合 编程 


在 CB 环境 下 调用 nnToolKit 神经 网 络 工具 包 ， 开 发 神经 网 络 应 用 系统 ， 主 要 分 为 以 下 几 个 步 
汉 

1. 在 CB 中 创建 基于 nnToolKit 的 自 定 义 VCL 组 件 

关于 CB 中 如 何 创建 自 定义 VCL 组 件 ， 请 读者 参看 CB 相关 的 资料 介绍 ,在 此 不 再 另 述 ， 在 图 
书 配套 的 源 程序 中 ， 已 经 建 有 一 个 VCL 工程 ， 打开 项 目 文件 nnToolKitbpk， 出 现 图 5-9 所 示 的 对 话 
框 : 


Package - mnToolEit_bpk 











D:ADownloads\2nsoftBpl 


nnToolKitres D:\Downloads\2nsoftBpl 
nnTooIKi_DCXc. DADownloads\2nsoftBpl 
nnToolKit_DCxX.dcr D'\Downloads\2nsoftBpl 
nnToolKit_TLB.cpp D:\Downloads\2nsoftBpl 
口 国 Requies 
员 bpi 
vclbpi 





图 5-9 创建 自 定义 VCL 组 件 


编译 项 目 文件 后 ， 再 点 击 “install” 操 作 ， 安 装 完成 后 ， 在 当前 开发 环境 下 的 ActiveX 的 组 件 页 
中 会 出 现 mnToolKit ActiveX 控件 ， 如 图 5-10 所 示 : 
FastNet| Decision Cube | DReoort| Dialoos| win 31| Samoles Activex | cOM+| 


[SN 吕 光 四 罗 双 | 


janaToolkit 








图 5-10 出 现在 组 件 页 上 的 nnToolKit 控件 


2. 创建 神经 网 络 应 用 工程 
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打开 C++ Builder 开发 环境 ， 并 创建 一 个 新 的 工程 ， 取 名 为 NetProj。 在 主 窗 体 中 加 载 一 个 
TPageControl 控件 ， 并 在 其 中 增加 两 个 页 面 ， 分 别 对 应 网 络 训练 和 网 络 仿真 。 分 别 如 图 5S-11 和 5-12 
启示 。 

C+Hiuilder 5 Project1l [built: 0-02_secs] 
| Fas Bit Seareh iew Erojeet Ban Compenent Databsse Tools indow jelp | None> 本 驴 | 
口 术 "加 印 思 蕊 区 | 电 OECD 人 们 


了 [RS 间 光 可 风电 








CB 调 用 nnToolKit 工 具 包 示 例 程序 


ageChlN， 
电 毕 网 络 训 红 Taoran 这 
回 SpterDepan 
= 园 PaneLehpepan 


输入 层 ， 中 间 层 ， 输出 层 ， 
2 
- 伟 孝 数 一 
答 入 层 至 中 间 屋 


中 间 层 至 答 出 屋 
训 弹 参 数 

显示 间隔 次 数 

最 大 震 环 次 数 

目标 误差 ， 

最 小 梯度 : 

说 定 p 的 初始 什 

设 定 ! 的 增加 系数 

设 定 " 的 减少 系数 

设 定 ! 的 景 大 值 专家 样本 组 数 


网 络 训练 显示 考 家 数据 | 


























5-11 神经 网 络 训练 界面 
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CttBuilder 6 - Projectl [Built: _0.02_zecs] 





ageChlNnet 四 
至 网 络 训练 (TabTran) 
回 SpaterDepart 
担 国 PansLetDepan 
罩 Group8ox1 
靖 E 中 间 层 ， 。。 葵 出 层 ， 
回 bmpuw = [28 1 
局 boupu 半 妆 
Hide 
npuwk 


一 条 输入 屋 至 中 间 层 1 
国 vanpu 中 间 层 至 输出 层 ” 隐 住友 


回 udoupwt 
由 图 Group8o2 





站 姑 | 于 | 
网 络 预测 显示 预测 结 蜡 











上 
雪 











5-12 神经 网 络 仿真 界面 


3. 加 载 nnToolKit ActiveX 控件 

从 工具 条 ActiveX 的 组 件 页 中 ， 将 nnToolKit AcetiveX 控件 拖 至 设计 窗 体 中 ， 这 时 在 头 文件 中 将 
自动 加 入 一 行 : 

熙 nclude "nnToolKit OCX.h" 

在 构造 函数 中 自动 定义 一 个 类 TnnToolKit 对 象 : 
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TnnToolKit *nnToolKitl: 

在 实现 文件 中 也 会 自动 加 入 一 行 : 
直 ragma link "nnToolKit OCX" 

4 代码 实现 〈 主 要 代码 ) 


1/ 

/网 络 训练 

/ 

void _fastcall TfrmNnet::btnTrainClick(TObject *Sender) 

{ 

try{ 

Variant ParaIn1(OPENARRAY(int，(0，4))，varDouble); /神经 网 络 模型 参数 
Variant ParaIn2(OPENARRAY(int，(0，8))，varDouble); /神经 网 络 训练 参数 
TVariant RetValue; /函数 返回 值 


double NetParaDouble[4]，TrainParaDouble[8]，RetDouble; 
TVariant InputFunc; /输入 层 到 中 间 层 的 传递 函数 





TVariant OutputFunc: /中 间 层 到 输出 层 的 传递 函数 
TVariant FileDir; /专家 样本 数据 文件 目录 
FileDir = Te 人 ee 由 (Applieaion 人 RSName) +"netdata"; 
TVariant ModelNo = /模型 编号 





nnToolKit1->lmtrain(1,&RetValue,ModelNo,ParaIn1,ParaIn2,InputFunc,OutputFunc,FileDin); 


】} 

catch (Exception &exception) 
ShowMessage(" 神 经 网 络 训练 出 错 ! "); 
returns 

和 

} 

/ 


/网 络 仿真 
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/ 
void ”fastcall TfrmNnet:btnSimulateClick(TObject *Senden) 
{ 


Variant ParaIn1(OPENARRAY(int，(0，3))，varDouble); 

Variant Paraln2(OPENARRAY(int，(0，iInputNums))，varDouble); 
TVariant RetValue; 

double NetParaDouble[3]，SimulatePara[7]，RetDouble; 

TVariant InputFunc; /输入 层 到 中 间 层 的 传递 函数 

TVariant OutputFunc; /中 间 层 到 输出 层 的 传递 函数 

TVariant FileDir; /专家 样本 数据 文件 目录 

FileDir = ExtractFilePath(Application->ExeName) +"netdata"; 
TVariant ModelINo = "1"; /模型 编号 








nnToolKit1->lImsimu(1,&RetValue,ModelNo,ParaIn1,ParaIn2,InputFunc,OutputFunc,FileDin); 
RetDouble=RetValue; 


ShowMessage(" 仿 真 成 功 ! "); 
btnShowResult->Enabled = true; 


5. 2.5 VC 调用 nnToolKit 神经 网 络 工具 包 实 现 混合 编程 


在 VC 中 调用 nnToolKit 神经 网 络 工具 包 实 现 混合 编程 ， 主 要 分 为 以 下 步骤 : 

1. 创建 MFC 工程 

打开 Viusal C++， 新 建 一 个 MFC AppWizard[exe] 单 文档 工程 Im。 在 “操作 ”菜单 中 增加 两 个 菜 
单项 “训练 ”和 “仿真 ” 同时 在 工程 中 相应 增加 两 个 对 话 框 ， 类 名 为 CSDlg 和 CTDIlg， 分 别 对 应 
“训练 ”和 “仿真 ”菜单 项 。 界 面 设计 如 图 5-13、5-14 所 示 。 


153 





IDD_DIALOG_TRAIN (Dialog)] 


la - 了 icrosoft Yisual C++ - [lacrc 
国有。 了 it 下 onsert rojeet Build Leyeat Tools 则 iadow lp 
EEC 
4 国治 | 
直 了 和 ne 











cn 











= 名 Im resources* 
且 国 Accelerator 


5 包 Dialog 口 国 
国 ,DD_ABouTBo| | : 有 | 三 屋 神经 元 数 
国 ,DD_DALoG_S 输入 层 。 中 间 屋 输出 屋 

IDD_DIALOGT 

司 国 Icon 

由 国 Menu 

6 国 Sring Table 

a 国 Version 












































丰 00 胃 322x291 READ 本 





图 5-13 网 络 训练 界面 设计 


网 络 仿真 对 话 框 设计 如 下 : 
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la - Hicrosoft Wisual C++ - [larc - IDD_DIALOG_Siau (Dialog)] 
| 国 Eia。 了 it 看 e Jsert Erojeet Buila Leyeat Iools Windor Help 
国力 昌 是 ms LT 习 m 
[EEC CI 下 下 和 


Im resources 


国 Accelerator 图 YC 调 用 nnToolKit 工 具 包 示 辣 程序 网 络 仿真 ) 


包 Dialog 
IDD_ABOUTBO; -各 层 神经 元 黎 一 


慎 Io0_DwALOG_Ss 和 钵 入 层 中间 层 输出 层 
站 IpD-DALoe-T | Fait 引 FEait 引 FEait 
con 加 
国 Menu :| 目 履 - 一 本 
答 入 层 到 中 间 层 了 | 
中 间 层 到 输出 层 习 

















国 String Table 下 
国 yersion :日 | 











硬 00 ， 旧 299x206 READ 





图 5-14 网 络 仿真 界面 设计 


2. 将 nnToolKit 动态 库 导 入 VC 
使 用 MFC ClassWizard， 添 加 一 个 新 类 ， 选 择 From a type of library， 在 弹出 的 对 话 框 中 选中 
nnToolKit.dll， 如 图 5-15 廊 示 。 
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Message Maps | Memberyariables | Automation | Activex Events | class info | 


Project Class name: Add Class.， ~ 





LmNet 可 cabowplg 习 
AddFunetion 
ESLmNetLmNetcpp 


ObjectlDs: Iaport from Type Library 


ID_APP_ABOUT 考 拒 范围 四 : [四 wrote 可 4 四 竹 


ID_APP_EXIT 


ID_EDIT_COPY 局 wm 


ID_EDIT_CUT 


ID_EDIT_PASTE 


ID_EDITUNDO 
Memberfunctions: 
Y DoDataExchange 








1 








FTRIOCT 
Description: :|reLib Files (tlb:s olbitdall 芭 














图 5-15 VC 中 导入 nnToolKit 动态 库 


确定 后 ， 在 workspace 中 可 以 发 现 这 时 自动 产生 了 类 InnToolKit， 如 图 5-16 启示 。 


有 EC _ ClassgWizard ?|x 
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Confira Cl1asses 


The selected class[es] will be generated 
from the type library. AI classes will be 
placedin the same headerand 


Class name: Base class: 


InnToolKit ColeDispatchDriver 


Header file: 


nnToolkKit_1_0.h Browse.… 


Implementation file: 


nnToolKit_1_0.cpp Browse.… 


5-16 VC 工程 中 自动 产生 类 InnToolKit 





3. 代码 实现 

在 CSDlg 类 中 添加 一 个 nntoolkit 变量 : 
InnToolKit nn; 

并 在 SDlgh 文件 中 添加 : 
茹 nclude "nntoolkit_ 1_ 0.h" 

初始 化 COM 组 件 的 代码 如 下 : 

议 !nn.CreateDispatch("nnToolKitnnToolKit1 07) 

{ 

MessageBox(" 加 载 组 件 出 错 !; 





exit(-1); 

} 
/调用 COM 件 中 的 方法 
nn.Imsimu(l,&rebModelNo,np,sp,infun,outfun,dirname); 
/释放 COM 组 件 
nn.ReleaseDispatch(); 
/使 用 计算 后 返回 的 结果 
double result=ret.dblVal; 
m_outpre.Format("9%f resultb; 
MessageBox(" 仿 真 成 功 ); 


/网 络 训练 部 分 的 代码 

void CTDlg::OnTrain0) 

{ 
/获取 网 络 参数 
UpdateData(TRUE); 
double n[4]; 
n[0]=m_numinputt; 
n[2]=m_nummiddlet'; 
n[1]=m_numoutputt': 
n[3]=m_numdata; 
COleVariant np; 
np.vt=VT_R8IVT_ARRAY; 
SAFEARRAYBOUND npbound[1]={4,0}; 
np.parray=SafeArrayCreate(VT_R8,1,npbound); 
np.parray->pvData=n; 
/ 慕 取 训 练 参数 
doublet[8]; 
t[0]=atoffm_trainp1); 
t[H=atofm_trainp2); 
t[2]=atofm_trainp3); 
t[3]=atofm_trainp4); 
t[4]=atofm_trainpS); 
t[S]=atofm_trainp6); 
t[6]=atofgm_trainp7); 





t[7]=atofm_trainp8); 
COleVariant tp; 
tp.vtrVT_ R8IVT ARRAY: 
SAFEARRAYBOUND tpbound[1]=-f8.0}; 
tp.parray=SafeArrayCreate(VT_R8,1,tpbound); 
tp.parray->pvData=t' 
/函数 类 型 
int curitem=m_funint.GetCurSel0; 
CString funin' 
这 curitem==-0) 
fnin="logsig"; 
else ifeuritem==1) 
fnin="tansig"; 
else ifcuritem= 一 2) 
fonin="purelin"; 
COleVariant infun=funin; 








CString funout'; 
_funoutt.GetCurSel(0); 
icuritem==0) 
fonout="tansig"; 
else ifecuritem==1) 
fonout="purelin"; 
else icuritem==2) 
funout="logsig": 
COleVariant outfun=funout; 
/模型 名 和 目录 
COleVariant ModelNo= 
COleVariant dimame=dir; 
/输出 设置 
COleVariant ret; 
/调用 nnToolKit 
CSDlg d:; 
试 !dnn.CreateDispatch("nnToolKitnnToolKit1_ 07) 


curitem: 
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MessageBox(" 加 载 组 件 出 错 !”; 
exit(-1); 
dnn.Imtrain(1,&rebModelNonp,tp,infun,outfun,dirmname); 
d.nn.ReleaseDispatch(); 
double result=ret.dblVal; 


CString str; 
strFormat(" 网 络 训练 成 功 ， 训 练 %f 次 "resulb; 
MessageBox(stn); 


} 
/网 络 仿真 部 分 的 代码 
void CSDlg::OnSimu(0) 
{ 
/TODO:Add your command handler code here 
/输入 输出 节 4 
double n[3]; 
n[0]=m_numinput'; 
n[I]=m_numoutput:; 
n[2]=m_nummiddle; 
COleVariant np; 
np.vt=VT_R8IVT_ARRAY; 
SAFEARRAYBOUND npbound[H={13,0}; 
np.parray=SafeArrayCreate(VT_R8,1,npbound); 
np.parray->pvData=n; 
/函数 类 型 
int curitem=m_funin.GetCurSel(0); 
CString fonin; 
ifcuritem==-0) 
funin="logsig"; 
else icuritem 一 1) 
fnin="tansig"; 
else 这 curitem==2) 
fonin="purelin"; 
COleVariant infun=funin; 
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CString fonout'; 
funout.GetCursel0; 
0) 
fbnout="tansi 


curitem 











fnout="purelin"; 
else 这 curitem 一 2) 
fonout="logsig"; 
COleVariant outfun=funout; 
/异型 名 和 目录 
COleVariant ModelNo= 
CString dir; 
GetModuleFileName(NULL,dirGetBuffer(100),100); 
dirReleaseBuffer0; 
dirTrimRightO; 
dir=dirLeft(dirGetLength0-6)+"demo"; 








COleVariant dirname=dir; 
/预测 数据 
/检测 长 度 
int numpre=m_listGetItemCountO; 
语 numprel=m_numinput) 
{ MessageBox(" 输 入 预测 数据 的 个 数 不 对 ， 确 认 ");return;} 
double s[7]; 
for(int i=0O:i<numpre:i++) 
s[i=atofgm_listGetItemText(i,1)); 
COleVariant sp; 
sp.vt=VT_R8IVT_ARRAY; 
SAFEARRAYBOUND spbound[1]=17.0}; 
sp.parray=SafeArrayCreate(VT_R8,1,spbound); 
sp.parray->pvData=s; 
/输出 设置 
COleVariant ret 
/调用 NNTOOLKIT 
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ifInn.CreateDispatch("nnToolKitnnToolKit1 07)) 


{ 


MessageBox(" 加 载 组 件 出 错 !; 


exit(-1); 
} 


nn.Imsimu(1,&rebModelNo,np,sp,infun,outfun,dirname); 


mn.ReleaseDispatch(); 
double result=ret.dblVal 


m_outpre.Format("%f"result); 
MessageBox(" 仿 真 成 功 "); 


5.3 Excel 生成 器 


(CExcel Builder) 


MATLAB 还 提供 了 一 个 称 为 Excel 生成 器 的 工具 ,利用 该 工具 ， 可 以 生成 DLL 组 件 和 VBA 代 


码 。 利 用 DLL 组 件 , 可 以 过 
Basic 编辑 器 中 直接 使 用 ， 
Excel 生成 器 创建 的 C: 


对 应 于 包含 在 组 件 工程 中 的 原始 MATLAB 函数 。 本 章 : 





Excel 生成 器 





岗 它们 之 间 


5.3.1 创 建 nnxToolkit 


行 与 前 面 COM 生成 器 组 件 相似 的 操作 。 VBA 代码 可 以 在 Excel 的 Visual 
可 以 保存 为 插件 (Add-Ins)。 

OM 对 象 暴露 给 VB 程序 环境 一 个 类 ， 该 类 包含 一 系列 称 为 方法 的 函数 ， 
主要 介绍 MATLAEB 与 Excel 的 接口 ， 并 通过 








的 接口 。 


的 Excel 插件 


用 MATLAB Excel 生成 器 创建 Excel 插件 ， 主 要 包括 5 个 步骤 ， 即 创建 工程 、 管 理 M 文件 和 


MEX 文件 、 生 成 组 件 、 油 


试 VBA 模块 、 打 包 和 分 发 组 件 。 


1. 创建 nnxToolKit 工程 





在 MATLAB 命令 行 中 输入 命令 mxltool， 打 开 MATLAB Excel 生成 器 主 窗口 ， 它 是 MATLAB 
Excel 生成 器 的 主要 工作 环境 。 
在 窗口 中 依次 选择 File>>New Project， 打 开 “New Project Setting” 对 话 框 ， 如 图 5-17 所 示 。 
(1) 在 “Component name” 文 本 框 中 输入 组 件 名 nnxToolKit， 输 入 组 件 名 后 ， 生 成 器 会 自动 在 
“Class name” 文 本 框 中 输入 一 个 与 组 件 名 相同 的 类 名 ， 这 里 采用 默认 类 名 。 
注意 : 尽管 组 件 名 与 类 名 可 以 相同 ， 但 组 件 名 不 能 与 后 面 添加 的 M 文件 或 MEX 文件 的 名 字 相 
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(2) 在 “Project Version” 文 本 框 中 输入 组 件 的 版 本 号 ， 默 认 版 本 号 为 1.0。 
(3) 在 “Project Directory” 文 本 框 中 输入 工程 目录 。 工 程 目录 指定 编译 和 打包 模型 时 ， 将 工程 
和 生成 的 文件 放 在 那里 ， 工 程 目录 根据 当前 目录 名 和 组 件 名 自动 创建 。 这 里 ， 将 工程 保存 在 目录 
“DAMATLAB6p5\vworkwmnxToolKit”。 
(4) 在 “Compile code in” 方 框 中 选择 生成 C 代码 还 是 C++ 代码 , 用 C 代码 写成 的 组 件 表现 更 
好 ， 而 C++ 组 件 可 读 性 更 ， 更 便于 修改 ， 在 此 选择 生成 C 代码 。 
(5) 在 “Compiler options” 方 框 中 可 以 创建 一 个 编译 模型 的 调试 版 本 ， 当 激活 MATLAB 编译 
器 时 ， 可 以 指定 详细 的 输出 ， 组 件 的 调试 版 本 具有 下 面 的 特点 : 
1D) 允许 反馈 通过 反馈 ， 所 有 出 错 报告 显示 M 文件 和 发 生 错误 的 行 。 
2) 允许 使 用 Visual Studio 调试 器 进行 调试 
在 “New Project Settings” 对 话 框 上 单 击 “OK” 按 钮 ， 系 统 自动 接受 这 些 设置 ， 它 们 成 为 工程 
的 一 部 分 ， 并 且 与 后 面 添加 到 工程 中 的 M 文件 或 MEX 文件 的 文件 名 一 起 被 保存 到 工程 中 ， 这 样 ， 
一 个 名 为 nnxToolKit mxl 的 工程 文件 被 自动 保存 到 工程 路 径 中 。 
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图 $-17 创建 nnxToolKit 工程 


2. 管理 M 文件 和 MEX 文件 〈 神 经 网 络 相关 函数 ) 

创建 工程 后 ， 主 窗口 的 “Project”",“Build” 和 “Component” 等 菜单 选项 变 为 可 用 ， 单 击 “Add 
File” 按 钮 或 从 “Project” 染 单 中 选择 “Add File...” 选 项 ， 在 工程 中 将 已 调试 好 的 神经 网 络 相关 函 
数 (LmTrainm、LmSimu.m 等 ) 加 入 到 项 目 中 。 

使 用 “Remove” 按 钮 或 从 “Project” 菜 单 中 选择 “Remove File.…” 选 项 ， 将 删除 所 有 已 经 选 定 
的 M 文件 或 MEX 文件 。 单 击 “Edit” 按 钮 或 从 “Project” 菜 单 中 选择 “Edit File.….” 选 项 ， 或 双击 
M 文 件 的 文件 名 ， 将 在 MATLAB 编辑 器 中 打开 选 定 的 M 文件 ， 并 可 以 进行 修改 和 调试 。 

3. 生成 nnxToolKit 组 件 

定义 好 工程 设置 并 添加 了 相关 神经 网 络 函数 后 ， 通 过 “Build” 菜 单 中 的 “ExceMCOM Files” 选 
项 或 直接 单 击 “Build” 按 钮 来 调用 MATLAB 编译 器 ， 生 成 一 个 可 配置 的 DLL 文件 和 必要 的 VBA 
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代码 。 同 时 中 间 源 文件 写 到 D:MATLAB6ps\workmnxToolKitsrc 目录 中 ， 将 进行 配置 的 输出 文件 
(DLL 文件 和 VBA 文件 ) 写 到 “D:\MATLAB6p5\WworkmnxToolKitwdistrib” 目 录 中 ,“Build Status” 
面板 显示 生成 过 程 的 输出 信息 ， 如 图 5-18 所 示 。 











了 ATILAP Excel Builder 一 mmxTooJEit- ax]l 
File Project Build Component Help 
Project Files: uild Status- 
Add File | Building standalone executable and generating VBA code.… 
广 -一 一 | mcc-M-silentsetup -ddJMATLAB6p5AworkinnxToolKitsrc' -B 
ProjectFiles Copyright (c) Microsoft Corp 1991-1997. All rights reserved 
日 -多 M-fles 

二 DMIATLAB6p5WWwork 
D3WATLAB6p5work 

二 DIMATLAB6p5Wwork 

全 DIMATLAB6p5Wwork 
后 
@ 











DMIMATLAB6p5work 
DWATLAB6p5work 
全 MEXflles 





























图 5-18 COM 生成 器 主 界面 
同时 ， 在 “DAMATLAB6psvworknnxToolKitbuild.log” 文 件 中 ， 记 录 了 生成 过 程 的 输出 信息 。 
通过 阅读 该 Log 文件 ， 用 户 可 以 对 编译 过 程 中 的 出 错 信息 进行 跟踪 。 
4.， 打包 和 发 布 组 件 
如 果 模 块 编译 成 功 ， 并 且 创建 了 Excel 插件 以 后 ， 就 可 以 准备 包装 组 件 ， 把 它 发 布 给 终端 用 户 。 
从 “Component” 菜 单 中 选择 “Package Component” 选 项 ， 将 创建 表 5-3 记 示 的 文件 ; 
表 5-3 自 解压 文件 nnxToolKitexe 包含 的 文件 


刻 和 件 功 能 
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_install.bat 由 自 解压 可 执行 程序 运行 的 脚本 
nnxToolKit 1_0.dll 编译 后 的 组 件 

msglinstallerexe 数学 库 和 图 形 库 安装 器 
mwcomutil.dll 生成 器 工具 库 

mwregsvrexe 在 目标 机 器 上 注册 DLL 可 执行 程序 
站 Xla 任何 在 目录 中 找到 的 插件 文件 


自 解压 可 执行 程序 的 名 称 为 nnxToolKitexe。 在 计算 机 上 运行 安装 器 ， 将 按 以 下 步骤 进行 : 
(1) mglinstaller 安装 MATLAB CC++ 数 学 库 和 图 形 库 。 

(2) 添加 <application>\bin\win32 目录 ， 其 中 <application> 表 示 配 置 应 用 的 根 目录 。 

(3) mwregsvr 注册 mwcomutil.dll 和 nnxToolKit_ 1_0.dll。 
(4) mglinstaller 将 所 有 Excel 插件 (*xla) 写 到 当前 目录 位 
(5) 要 使 用 Excel 插件 ， 启 动 Excel， 选 择 “ 工 具 ”-?>“ 加 载 
必须 在 每 个 需要 安装 组 件 的 计算 机 上 重复 本 











”， 并 选择 LPmNetxla 文件 。 
发 布 过 程 ， 下 面 介 绍 组 件 的 安装 和 使 用 。 


5. 3.2 nnxToolKkit 组 件 安装 





直接 运行 nnxToolKitexe 安装 文件 ， 程 序 首先 完成 自 解压 ， 然 后 进入 安装 过 程 ， 具 体 步 骤 类 似 
于 nnTookKit 的 安装 ， 在 此 不 再 另 述 ， 读 者 可 参见 5.2.2 章节 介绍 。 





5. 3. 3 将 nnxToolKit 组 件 集成 到 VBA 中 


nnxToolKit 组 件 建 好 以 后 ， 通 过 实现 必要 的 VBA 代码 后 ， 可 将 它 集成 到 Excel 中 去 。 按 照 下 面 
的 步骤 打开 Excel 并 选择 必要 的 库 文件 开发 插件 。 

1 启动 Excel。 

2， 从 Excel 主 菜单 中 ， 按 顺序 选择 “工具 ”2?>“ 宏 ”2?>“Visual Basic 编辑 器 ”， 启 动 Excel 的 
Visual Basic 编辑 器 。 

3. 在 编辑 器 的 “工具 ”菜单 中 选择 “引用 .…?” 选 项 ， 显 示 “ 引 用 ”对 话 框 。 在 该 对 话 框 中 选 
择 “nnxToolKit 1.0 Type Library” 和 “MWComUtil 1.0 Type Library”。 

插件 需要 一 些 初始 化 代码 和 一 些 全 局 变量 来 控制 应 用 程序 的 状态 。 要 达到 这 个 目的 ， 按 照 后 面 
的 步骤 实现 Visual Basic 代码 模块 。 

4. 在 工程 窗口 中 右 击 VBAProject 选项 并 从 弹出 式 菜单 中 按 顺 序 选择 “插入 ”>“ 模 块 ”。 
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5. 在 VBAProject 中 的 Modules 下 面 出 现 一 个 新 的 模块 。 在 该 模块 的 属性 页 中 ， 将 Name 属性 
设置 为 LmNetMain， 如 图 $-19 所 示 。 


工 @) 运行 开 ) 工具 CD) 外接 程 床 Q) 窗 DD 。 ， 
= 四 X 





工程 - YEHhProject 可 [eatt 了 吕 
?Lalfetllain 模块 为 系统 主 模块 ， 它 提供 全 局 变量 的 声明 并 提供 初始 化 代码 ”之 


钱 有 erosoft Exeel 对 象 Publie theToolKit As nmxToolKit, nmxToolKit “mmotToolKit 对 象 的 全 
Sheat1 (Sheet1l) 了 Public ExpertData 人 s Range 思 转 
Publie SimuData As Range 和 
类 ] shest2 Cheet2) Publie bPlot As Boolean 
Shest3 (Shest3) Publie bInit As Boolean 


2 Fublie pO As Double 
Tablic tO As Double 
publie pl () As Double 
Fablic tl 0 As Double 
Fublie p11O As Double 
Fublie tl1 0 As Double 
Publie epochs As Lonz 


Publie Nodes@ To 2) As Double 
Publie TransPunc (0 Te。 1) As String 
Publie TrainPara(D Te 7) As String 
Public TrainSanpleNom As Integer 
Publie SimuSanpleNoum As Integer 

了 blie 了 1 全 sth As .String 





Trivate Sab LosdLnlet 
全 二 后 娄 生 和 生 和 ua 窗 体 
Tim WainForm As frmNet 
Dn Error GoTo Handle_Brror 
Call Inithpp 


| 





图 5-19 在 VBA 工程 中 插入 模块 
在 LmNetMain 模块 中 输入 下 面 的 代码 :; 


YLmNetMain 模块 为 系统 主 模块 ， 它 提供 全 局 变量 的 声明 并 提供 初始 化 代码 


Public theToolKit As nnxToolKitnnxToolKit mnxToolKit 对 象 的 全 局 实例 
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Public ExpertData As Range 
Public SimuData As Range 
Public bPlot As Boolean 
Public bInit As Boolean 


Public pO As Double 
Public tO As Double 
Public p10 As Double 
Publict10 As Double 
Public p110 As Double 
Public tl110 As Double 
Public epochs As Long 


Public Nodes(0 To 2) As Double 
Public TransFunc(0 To 1) As String 
Public TrainPara(0 To 7) As String 
Public TrainSampleNum As Integer 
Public SimuSampleNum As Integer 
Public FilePath As String 

Public ModelNo As String 


Private Sub LoadLmNet(O) 


上 专家 样本 数据 的 范围 
"仿真 数据 的 范围 

' 以 制 绘图 状态 
"控制 模块 是 否 被 初始 化 


"学习 样 本 输入 

"学习 样 本 输出 
"仿真 样本 输入 

本 输出 

单个 仿真 样本 输入 

单个 仿真 样本 输出 
学 习 步 数 





"传递 函数 
"网 络 训练 参数 
"训练 样本 组 数 
数据 组 数 
件 路 径 
' 异 型 编号 






初始 化 全 局 变量 并 载 入 LmNet 窗 体 


Dim MainForm As frmNet 
On Error GoTo Handle_Error 
Call InitApp 
Set MainForm = New frmNet 
Call MainForm.Show 
Exit Sub 
Handle_ Error: 
MsgBox (ErrDescription) 
End Sub 


Private Sub InitAppO) 
初始 化 类 和 库 
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“运行 一 次 当前 的 Excel 进程 
IfbInit Then Exit Sub 
On Error GoTo Handle Error 
IftheToolKit Is Nothing Then 
Set theToolKit = New nnxToolKitnnxToolKit 
End If 
bImit = True 
Exit Sub 
Handle_Error: 
MsgBox (ErrDescription) 
End Sub 


和 打开 已 建 网 络 模型 


Sub OpenLmNet0) 
ModelName = Application.GetOpenFilename(filefilter="Excel workbooks,*.xls"，Title:=" 
打开 LmNet 网 络 模型 
If(ModelName = False) Then 
Exit Sub 
End If 
End Sub 


新建 网 络 模型 


Sub NewLmNetO 
ModelName =Application.NewWorkbook 
If(ModelName = False) Then 
Exit Sub 
End 下 
End Sub 


5. 3. 4 创建 图 形 用 户 界 面 


集成 处 理 的 下 一 步 是 用 Visual Basic 编辑 器 为 nnxToolKit 插件 开发 一 个 神经 网 络 应 用 。 按 照 以 
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下 步骤 创建 一 个 新 的 用 户 窗 体 ， 并 在 窗 体 上 添加 必要 的 控件 。 

1. 在 工程 窗口 中 右 击 VBAProjeet 选项 ， 并 从 弹出 式 菜单 中 按 顺 序 选择 “插入 ”>“ 用 户 窗 体 ” 
选项 。 

2. 现在 ， 在 VBA 工程 中 ， 一 个 新 的 窗 体 显 示 在 Forms 下 面 。 在 窗 体 的 属性 页 中 ， 将 Name 属 
性 设置 为 fmLmNet， 将 Caption 属性 设置 为 : VBA 调用 nnxToolKit 示例 。 

3. 给 空白 的 窗 体 中 添加 控件 ， 如 图 5-20 所 示 ， 并 按 表 5-4 中 的 内 容 设置 控件 属性 。 


全 Ricrosoft Yisual Basic - LaNet-zla 一 [fraget (UserFora)] 


用 VBAProjecet (de 

镶 上 ieroseft Exee 

面 ] Sheetl CShy 
团 ] sheetz Gh | 

ee hy 
Thisforkboc | 

vBhAProjeet Cl 
久 上 ierosoft zxee | 

| 便 窗 体 


国 
合 模块 
人 Pane 

















5-20 创建 fmLmNet 窗 体 


表 S5-4 属性 设置 
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控件 类 型 控件 名 称 属 性 
Frame Framel Caption = 网 络 各 层 节点 数 
TextBox txtNodeNuml 注 : 输入 层 节点 数 
TextBox txtNodeNum2 注 : 中 间 层 节点 数 
TextBox txtNodeNum3 注 : 输出 层 节点 数 
Frame Frame2 Caption = 传递 函数 
CombBox cmbFuncl 注 : 输入 层 至 中 间 层 传递 函数 
CombBox cmbFunc2 注 : 中 间 层 至 输出 层 传递 函数 
Frame Frame3 Caption = 网 络 参 数 
TextBox txtNetParal 注 : 显示 间隔 次 数 
TextBox txtNetPara2 注 :， 最 大 循环 次 数 
TextBox txtNetPara3 注 : 目标 误差 
TextBox txtNetPara4 
TextBox txtNetPara5 
TextBox txtNetPara6 注 : 最 大 误差 比例 
Frame Frame4 Caption = 数据 区 域 
RefEdit refedtExpertm 注 : 训练 样本 输入 数据 区 域 
RefEdit refedtExpertOut 注 : 训练 样本 输出 数据 区 域 
RefEdit refedtSimuIn 注 : 测试 样本 输入 数据 区 域 
RefEdit refedtSimuOut 仿真 结果 输出 数据 区 域 








窗 体 和 控件 创建 完毕 以 后 ， 右 击 窗 体 并 从 弹出 式 菜单 中 选择 “查看 代码 ”选项 。 然 后 在 代码 窗 
口中 输入 下 面 的 代码 。 
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攻 mNet 窗 体 激 活 事件 


Private Sub UserForm_Activate() 
"UserForm 被 激活 时 的 事件 句柄 。 本 函数 在 显示 窗 体 以 前 被 调用 ' 
"并 用 保存 在 全 局 变量 中 的 值 初始 化 所 有 控制 
On Error GoTo Handle_ Error 
cmbFunc1.AddItem "purelin", 0 
cmbFunc1.AddItem "tansig", 1 


cmbFunc1.Text= "purelin” 


cmbFunc2.AddItem "purelin", 0 
cmbFunc2.AddItem "tansig", 1 
cmbFunc2.Text= "tansig” 


"切换 网 络 节点 参数 到 建 模 

txtNodeNuml.Text=ActiveWorkbook.Sheets("Sheetl ).Cells(3, 2) 
txtNodeNum2.Text=ActiveWorkbook.Sheets("Sheetl1").Cells(4, 2) 
txtNodeNum3.Text= ActiveWorkbook.Sheets("Sheetl").Cells(3, 2) 


'J 切 换 网 络 训练 参数 到 建 模 

txtNetParal.Text = ActiveWorkbook.Sheets("Sheetl").Cells(3, 4) 
txtNetPara2.Text = ActiveWorkbook.Sheets("Sheetl").Cells(4, 4) 
txtNetPara3.Text = ActiveWorkbook.Sheets("Sheetl").Cells(5, 4) 
txtNetPara4.Text = ActiveWorkbook.Sheets("Sheetl").Cells(6, 4) 
txtNetPara5.Text = ActiveWorkbook.Sheets("Sheetl").Cells(7, 4) 
txtNetPara6.Text = ActiveWorkbook.Sheets("Sheetl").Cells(8, 4) 


" 数 换 数据 显示 区 域 到 建 模 

refedtExpertIn.Text = ActiveWorkbook.Sheets("Sheetl").Cells(3, 6) 
refedtExpertOut.Text = ActiveWorkbook.Sheets("Sheetl").Cells(4, 6) 
refedtSimuIn.Text=ActiveWorkbook.Sheets("Sheetl").Cells(5, 6) 
refedtSimuOut.Text = ActiveWorkbook.Sheets("Sheetl1").Cells(6. 6) 


IftheToolKit Is Nothing Then Exit Sub 
" 用 当前 值 初 始 化 控制 





INot ExpertData Is Nothing Then 
refedtExpertData.Text = ExpertData.Address 
End If 
Exit Sub 
Handle_ Error: 
MsgBox (ErrDescription) 
End Sub 


' 模 型 切换 到 Excel 


了 Private Sub btnToExcel_Click0) 
' 切 换 网 络 节点 参数 到 Excel 
ActiveWorkbook.Sheets("Sheet1").Cells(3, 2) = txtNodeNum1.Text 
ActiveWorkbook.Sheets("Sheetl").Cells(4, 2) = txtNodeNum2.Text 
ActiveWorkbook.Sheets("Sheetl").Cells(5, 2) = txtNodeNum3.Text 


J 数 换 网 络 训练 参数 到 Excel 

ActiveWorkbook.Sheets("Sheetl1").Cells(3, 4) = txtNetParal1.Text 
ActiveWorkbook.Sheets("Sheet1").Cells(4, 4) = txtNetPara2.Text 
ActiveWorkbook.Sheets("Sheetl").Cells(5, 4) = txtNetPara3.Text 
ActiveWorkbook.Sheets("Sheetl1").Cells(6, 4) = txtNetPara4.Text 
ActiveWorkbook.Sheets("Sheet1").Cells(7, 4) = txtNetPara5.Text 
ActiveWorkbook.Sheets("Sheetl1").Cells(8, 4) = txtNetPara6.Text 


J 断 换 数 据 显示 区 域 到 Excel 
ActiveWorkbook.Sheets("Sheetl").Cells(3, 6) = refedtExpertIn.Text 
ActiveWorkbook.Sheets("Sheetl").Cells(4, 6) = refedtExpertOut.Text 
ActiveWorkbook.Sheets("Sheet1").Cells(5, 6) = refedtSimuIn.Text 
ActiveWorkbook.Sheets("Sheetl").Cells(6, 6) = refedtSimuOut.Text 
Unload Me 

End Sub 


了 Private Sub btnTrain_ClickO) 
eDim p(SampleNum, Node(0)) As Double 
及 eDim t(SampleNum, Node(2)) As Double 
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=Range(refedtExpertIn.Text) 

= Range(refedtExpertOut.Text) 

Call NetModel_Tnit 

On Error GoTo Handle_Error 

" 唉 回 值 

Dim retstr As Variant 

"网 络 训练 基本 参数 

Dim NetTPara(4) As Double 

愤 型 编号 

Dim vModelNo As Variant 

VvModelNo = ModelNo 

Fori=0To2 

NetTPara(i) = Nodes(i) 

Next 

NetTPara(3) = TrainSampleNum "样本 个 数 

VModelINo =1 

"网 络 训练 调用 参数 说 明 

"， 一 个 返回 参数 

Yetstr， 返 回 值 

"网 络 模型 基本 参数 ，Variant 

神经 网 络 参数 ，Double， 包 括 输入 层 节点 数 ， 输 出 层 节点 数 ， 中 间 层 节点 数 ， 网 络 训 
练 样本 个 数 。 

和 神经 网 络 训练 参数 ， 若 为 "-1" 表 示 选 择 默认 参数 

"网 络 仿真 时 输入 层 至 中 间 层 的 传递 函数 

"网 络 仿真 时 中 间 层 至 输出 层 的 传递 函数 

程序 运行 时 的 当前 目录 

Call theToolKit.Imtrain(1，retstr，vVModelNo，NetTPara，-1，TransFunc(0)，TransFunc(1)， 
FilePath) 

MsgBox (" 训 练 完成 ， 您 现在 可 以 进行 仿真 操作 了 ! 7 
Handle_ Error: 

MsgBox (ErrDescription) 

End Sub 


' 神 经 网 络 仿真 
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Private Sub btnSimu_Click0O 


神经 网 络 仿真 参数 

Dim SimulatePara(7) As Double 
愤 型 编号 

Dim ModelNo As String 
ModelNo = "1" 

On Error GoTo Handle_Error 


Fori=0ToNodes(0)-1 

”SimulatePara(i) = Trim(Left(DataLine， 5)) 

” DataLength = Len(DataLine) 

” DataLine = Trim(Right(DataLine， DataLength - 5)) 


Next 

"调试 用 数据 
SimulatePara(0) = 0.9 
SimulatePara(1) = 0. 
SimulatePara(2) = 0.063 
SimulatePara(3) = 0.9 
SimulatePara(4) = 0.025 
SimulatePara(S) = 0.467 
SimulatePara(6) = 0.9 





"网 络 仿真 调用 参数 说 明 

"1， 一 个 返回 参数 

Yetstr， 返 回 值 

"网 络 模型 基本 参数 ，Variant 

"神经 网 络 参数 ，Double， 包 括 输入 层 节点 数 ， 输 出 层 节点 数 ， 中 间 层 节点 数 
神经 网 络 仿真 参数 ， 若 为 "-1" 表 示 选 择 默 认 参数 

"网 络 仿真 时 输入 层 至 中 间 层 的 传递 函数 

"网 络 仿真 时 中 间 层 至 输出 层 的 传递 函数 

"程序 运行 时 的 当前 目录 

Call theToolKitImsimu(1， retstr” ModeINo， Nodes， SimulatePara， TransFunc(0)， 









TransFunc(1), FilePath) 


MsgBox (" 仿 真 成 功 ， 点 击 数 据 / 显 示 测 试 结 果 ' 查 看 仿真 结果 ! 7) 
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Exit Sub 
Handle_Error: 
MsgBox (ErrDescription) 
End Sub 
集成 的 最 后 一 步 是 给 Excel 添加 一 个 菜单 选项 。 这 样 ， 就 可 以 从 Excel 的 “工具 ”菜单 中 调用 
该 工具 了 。 进 行 这 一 步 工 作 ， 需 要 为 工作 筹 的 AddinJnstall 和 AddinUninstall 事件 添加 事件 句柄 。 该 
ON LoadLmNet 模块 中 的 LoadLmNet 函数 。 按 照 下 面 的 步骤 实现 菜单 选项 : 
. 在 Visual Basic 工程 窗口 中 右 击 “ThisWorkbook” 选项， 并 从 弹出 式 菜单 中 选择 “查看 代码 ” 
蜂 克 结果 如 图 $-21 所 示 。 


0 插入 台 ， 格式 @)， 调式 @) 运行 @) 工具 C) 外 接 程 序 必 ) 窗口 由 ) 
-上 X 


图 | Sheetl Gheetl) 从 了 rivate Sub Workbook_AddinTnstallO 
图 ] Sheet2 (Sheet2) Call AddLnmNetlenuItem 
国 玉 交 Sheet3) | _zaa sub 





Thi sWorjbook 


口 题 vBhProject (Leet.r Trivate Sub Workbook_AddinUninstall 0 
“ 季 载 插件 时 被 调用 


中 全 Wierosoft Eeel M Call RemoveLnNetlenuIten 
Sheetl Sheet1) Pd Sb 
Sheet2 (Sheet2) 而 
Private Sab AdaaLnMetllenuTten 
3 Tim Newllenu As ConmandBarPopup 
Dim NenllenuTten As ConmandBarButton 


“如果 已 经 存在 ， 则 删除 它 
Call RemoveLnNetllenuTten 


“增加 一 个 新 的 一 级 菜单 "LnNet 神 经 网 络 ” 

Set Jew 人 lenu = App1ication 了 知人 5 【Worksheet len Bar“) .Co 
JewWlena_ Caption =“LnNet 神 经 网 络 (ML 

芒 Wewllera Is Nothing Then Exit Sub 

“ 赤 加 荣 

Set New 人 lenuItem = 机 ew 和 en 有 =msoControlButton) 


JenllenuTten. Csption = 
Thi sforjkbook JewllenuTtem. DOnAction =“NewLnmNet” 


tLabelsInF: | 


5-21 与 Excel 集成 
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2. 将 下 面 的 代码 放 到 ThisWorkbook 对 象 中 。 
"安装 插件 时 被 调用 


Private Sub Workbook AddinInstallO 
CallAddLmNetMenulItem 
End Sub 


' 抒 载 插 件 时 被 调用 


Private Sub Workbook AddinUninstall0 
Call RemoveLmNetMenuItem 
End Sub 


' 哇 Excel 中 加 载 菜单 项 


Private Sub AddLmNetMenulItem() 
Dim NewMenu As CommandBarPopup 
Dim NewMenuItem As CommandBarButton 
"如 果 已 经 存在 ， 则 删除 它 
Call RemoveLmNetMenultem 
糟 加 一 个 新 的 一 级 菜单 "LmNet 神经 网 络 " 
Set NewMenu 理 Application.CommandBars("Worksheet 


Bar").Controls.Add(msoControlPopup) 


NewMenu.Caption = "LmNet 神经 网 络 (&L)" 

下 NewMenu Is Nothing Then Exit Sub 

添加 菜单 项 

Set NewMenultem = NewMenu.Controls.Add(Type:=msoControlButton) 
NewMenultem.Caption = "新 建 模型 (&N)" 

NewMenulItem.OnAction = "NewLmNet" 

Set NewMenultem = NewMenu.Controls.Add(Type:=msoControlButton) 
NewMenultem.Caption = "打开 模型 (&O)" 

NewMenuItem.OnAction = "OpenLmNet” 

SetNewMenultem = NewMenu.Controls.Add(Type:=msoControlButton) 


Menu 


了 





NewMenuItem.Caption = "切换 至 建 模 (&C)" 
NewMenultem.OnAction = "LoadLmNet” 


Set NewMenultem = NewMenu.Controls.Add(Type:=msoControlButton) 
NewMenultem.Caption = "保存 模型 (&S)" 
NewMenultem.OnAction = "SaveLmNet” 

End Sub 


哇 Excel 中 移 走 菜单 项 


Private Sub RemoveLmNetMenulItem() 
Dim barAs CommandBar 
Dim Ctrl As CommandBarControl 
On Error Resume Next 
Setbar=Application.CommandBars(1) 
For Each bar In CommandBars 
IfbarName = "Worksheet Menu Bar" Then 
For Each Item In barControls 
IfItem.Caption = "LmNet 神经 网 络 (&L)" Then 
Item.Delete 
End If 
Next Item 
End If 
Nextbar 
End Sub 
其 中 ，Workbook_AddinInstall 过 程 调用 AddLmNetMenuItem 过 程 ， 在 窗 体 中 添加 菜单 项 ， 它 在 
安装 插件 时 被 调用 ，Workbook_AddinUninstall 过 程 在 印 载 插件 时 被 调用 :AddLmNetMenultem 过 程 
在 “Tools” 菜 单 中 添加 一 个 子 菜单 项 ; RemoveLmNetMenultem 过 程 把 “VBA 调用 nnxToolKit 示例 ” 
菜单 英 从 “Tools” 菜 单 中 删除 。 


5. 3. 5 保存 和 测试 插件 


1. 将 插件 命名 为 “VBA 调用 nnxToolKit 示例 *， 按 照 下 面 的 步骤 保存 它 : 
@ 在 Excel 主 菜 单 中 依次 选择 “文件 ”了 “属性 ”: 
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当 “Workbook 属性 对话 框 出 现时 , 选择 “摘要 信息 ”选项 卡 , 并 输入 “VBA 调用 nnxToolKit 
示例 ”作为 工作 筹 的 标题 ; 

单 击 “OK”， 保 存 编辑 内 容 ; 

从 Excel 主 菜 单 中 依次 选择 “文件 ”了 “另存 为 .…”: 

在 “另存 为 ”对 话 框 中 选择 “Microsoft Excel Add-In(*.xla)” 作 为 文件 类 型 ; 

@ 输入 “LmNetxla” 作 为 文件 名 ， 并 单 击 “保存 ”按钮 ， 保 存 插件 。 

在 分 发 插件 以 前 ， 对 它 进行 测试 。 本 示例 主要 通过 对 指定 的 专家 样本 数据 进行 训练 ， 然 后 再 对 
指定 的 测试 数据 进行 仿真 。 故 本 例 需要 将 样本 数据 保存 到 Excel 工作 筹 的 工作 区 域 中 ， 对 于 训练 过 
程 误 差 和 仿真 结果 ， 用 图 形 表示 。 
通过 下 面 的 步骤 完成 示例 程序 : 
启动 一 个 新 的 Excel 进程 ， 它 有 一 个 空白 的 工作 短 ， 

从 菜单 中 依次 选择 “工具 ”>“ 加 载 …”， 打 开 “ 加 载 安 ” 对 话 框 ; 

在 “加 载 安 ” 对 话 框 中 单 击 “ 浏 览 …” 按 钮 ; 

找到 LmNetxla 文件 并 单 击 “ 确 定 ”按钮 ; 

在 列表 框 中 找到 “VBA 调用 nnxToolKit 示例 ”插件 ， 选 择 它 ; 

单 击 “OK” 按 钮 ， 装 载 插件 。 

本 插件 在 Excel 的 “工具 ”菜单 下 安装 一 个 菜单 项 。 可 以 通过 依次 选择 “工具 ”>“VBA 调用 
nnxToolKit 示例 ”来 显示 本 神经 网 络 应 用 的 图 形 用户 界 面 。 后 面 章节 将 详细 介绍 通过 调用 此 插件 来 
创建 基于 VBA 的 神经 网 络 应 用 程序 。 


[ 





5. 3. 6 分 发 应 用 程序 


将 COM 组 件 和 所 有 的 支持 库 打包 到 一 个 自 解压 可 执行 程序 nnxToolKitexe 中 。 这 样 ， 本 包 就 
可 以 安装 到 其 他 需要 使 用 nnxToolKit 组 件 的 计算 机 上 了 。 同 样 需要 将 LmNetxla 文件 复制 到 所 有 的 
在 Excel 中 使 用 本 组 件 的 计算 机 中 。 





5. 3.7 应 用 示例 


下 面 通过 前 面 章节 发 布 的 应 用 程序 ， 快 速 建立 一 个 神经 网 络 模型 ， 用 以 实现 对 电力 行业 的 漏 窃 
电 进行 预 测 。 

1. 案例 描述 

窃 电 者 为 了 达到 窃 电 目的 , 往往 采用 各 种 窃 电 手法 进行 窃 电 , 手法 五 花 八 门 , 但 万 变 不 离 其 宗 ， 
最 常见 的 是 从 电能 计量 原理 入 手 。 一 个 电能 表 计 量 电量 的 多 少 ， 主 要 决定 于 电压 、 电 流 、 功 率 因 数 
三 因素 和 时 间 的 乘积 ， 因 此 ， 只 要 想 办 法 改变 三 要 素 中 的 任何 一 个 要 素 都 可 以 使 电表 慢 转 、 停 转 其 
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至 反 转 ， 从 而 达到 窗 电 的 目的 ， 另 外， 通过 采用 改变 电表 本 身 的 结构 性 能 的 手法 ， 使 电表 慢 转 ， 也 
可 以 达到 窃 电 的 目的 。 

为 了 有 效 地 抑制 这 种 窗 电 行 为 ， 为 开展 窃 电 侦查 工作 和 计量 装置 检查 工作 提供 依据 和 锁定 范 
围 。 有 必要 通过 归纳 出 若干 指标 ， 同 时 根据 最 终 用 电 客户 用 电 现场 计量 装置 的 报 车 数据， 结合 客户 
历史 用 电 数 据 和 相关 线路 的 线 损 数据 ， 总 结 出 一 个 预测 分 析 模 型 。 以 便 为 管理 者 提供 漏 窃 电 的 嫌疑 
人 列表 和 嫌疑 系数 。 

2. 案例 分 析 

预测 模型 的 建立 ， 关 键 在 于 预测 模型 及 评价 指标 的 选取 (注意 : 在 选取 指标 时 ， 要 充分 考虑 到 
采集 数据 的 可 行 性 ) 及 数据 的 可 靠 性 ， 目 前 有 一 种 比较 常用 的 简便 的 预测 分 析 方法 〈 加 权 平 均 法 )， 
实现 对 漏 窃 电 的 预测 ， 如 图 5-22 所 示 。 





(D) 人 



















































































图 5-22 漏 窃 电 预测 之 加 权 乎 均 模型 


这 种 基于 线性 加 权 模 型 的 漏 窃 电 预测 方法 的 优点 是 数据 容易 采集 ， 使 用 简单 ， 但 也 存在 很 大 的 
局 限 性 ， 如 影响 漏 窃 电 的 各 个 预测 指标 之 间 有 些 相互 影响 ， 有 些 相互 独立 ， 呈 现 出 复杂 的 非 线性 关 
系 ， 用 上 述 方法 做 出 的 评价 比较 粗糙 。 同 时 这 种 线性 分 析 方 法 ， 仅 从 电压 断 相 、 电 压 缺 相 、 示 度 下 
降 等 指标 进行 预测 分 析 ， 显 然 其 中 间 过 程 全 部 被 忽略 了 ， 而 且 由 于 判断 各 指标 的 数据 源 部 分 又 有 明 
显 交 又 现 象 ， 因 此 有 必要 进行 更 深入 的 数据 挖 据 。 即 从 电压 断 相 、 电 压 缺 相 、 示 度 下 降 等 指标 的 源 
头 ， 通 过 判断 各 指标 的 数据 源 ， 并 综合 其 它 指标 ， 如 : 线 损 率 、 用 户 单位 产品 耗 电 量 、 用 户 功率 因 
数 等 指标 ， 来 重新 确定 预测 分 析 模型 的 评价 指标 。 本 案例 通过 建立 一 个 具有 10 个 输入 ,一 个 输出 的 
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神经 网 络 预测 模型 ， 用 以 实现 对 漏 窃 电 的 预测 。 预 测评 价 指标 体系 如 图 5-23 所 示 。 
漏 窗 电 嫌 乡 系数 
(0-D 
| 
| [ | 
终端 类 型 | | 电表 类 型 | | 额定 电压 | | ”… | 志 表 满 刻 度 电 量 | | 线 损 率 | | 用 户 单位 产品 耗 电量 | | 用户 功 率 因数 





















































图 5-23 漏 窃 电 预测 评价 指标 





同时 建立 如 表 5-5 所 示 的 专家 样本 数据 。 
表 5-5 漏 窃 电 预 测 专家 样本 数据 





数 漏 窃 电 嫌疑 





终端 类 型 ”电表 类 型 ”额定 电压 ……. 用 户 功 引 





3， 程序 
步骤 如 下 : 
(1) 启动 Excel， 在 菜单 中 选择 “工具 ”他 “ 加 载 ? 
在 可 用 加 载 安 框 中 会 出 现 宏 “VBA 神经 网 络 示例 程序 
Excel 菜单 中 将 出 现 一 个 新 的 “LmNet 神经 网 络 ” 菜 单项 。 
Sheetl 表单 项 中 输入 神经 网 络 建 模 的 相关 数据 〈 如 图 5-25 所 示 )， 在 Sheet2 表单 项 中 输 
本 数据 和 预测 数据 。 


"” >“ 浏览 ” 选 定 LmNetxla 文件 并 确定 ， 
如 图 5-24 所 示 ， 打 勾 后 “确定 "， 这 时 在 
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图 5-24 加 载 自 定义 神经 网 络 宏 


加 Hicrosoft Excel - deao-xls 


文件 四 编辑 @) 视图 OO， 插入 GD) 格式 O) 工具 C) 数据 Q) 窗口 W) 帮助 0 
= 村: 兴 


打开 模型 @) 
切换 至 建 模 人) 


到 网 数据 显示 区 域 
10 显示 间隔 次 数 25 训练 样本 输入 Sheet2!B3:K87 
8 最 大 循环 次 数 1000 训 续 样本 输出 Sheet2!L3:L87 
1 目标 误差 0. 001 测试 样本 输入 Sheet21B88:K97 
人 0. 001 测试 结果 输出 Sheet21!L88:L97 
速率 0.001 
景 当 阁 1000000 








NM 4 NNSheetl[Sheet2XSheet57 习 | 
就 绪 隆 
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图 5-25 准备 建 模 相关 数 据 


(3) 网 络 建 模 相 关 数 据 准备 好 后 ， 点 击 菜单 “LmNet 神经 网 络 ”3》“ 切 换 至 建 模 ”， 将 打开 神经 
络 建 模 应 用 程序 ， 如 图 5-26。 


VBA 调 用 nnxzToolKit 示 例 


三 网 络 各 层 节点 数 三 网 络 参数 数据 区 域 
王 训 绑 样 本 输入 数据 区 域 一 


输入 层 ”中间 屋 ”| 输出 屋 | | 

普 划 必 s 直 |C | =: Lawamm 本 
到 [ 由 本 和、 证 本 | oo 一 训 弱 样本 输出 数据 区 域 
| 传 带 末 数 上 ETFO saeem 可 
多 NMRE9 民 [asia 避 | 动量 项 最 三 二 || WA 


中 间 层 至 输出 屋 | tansig 可 | Jsheetztpes:m 可 
0 王 仿真 结果 输出 数据 区 域 一 


数据 项 操作 显示 区 种 囊 可 最 大 误差 比例 | 1000000 Jsheeezusszy 可 


量 
































5-26 模型 训练 和 预测 


通过 系统 提供 的 功能 ， 可 以 快速 地 实现 网 络 训练 ， 模型 训练 完成 后 ， 就 可 以 对 指定 的 数据 进行 
预测 了 。 
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练习 题 
1、 除 了 本 书 介绍 的 混合 编程 方法 外 ， 你 还 了 解 哪 些 混合 编 程 技术 ? 各 有 何 特点 ? 
2、 用 VB 调用 nnTooKit 神经 网 络 工具 包 的 方法 ， 实 现 4.5.2 节 记 示 的 地 基 沉 降 量 预 测 。 
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第 6 章 神经 网 络 混合 编程 案例 


前 面 几 章 我 们 介绍 了 神经 网 络 算法 及 混合 编程 方法 ， 本 章 我 们 将 基于 实际 应 用 ， 完 整地 介绍 一 
个 混合 编程 案例 一 个 人 资信 评级 系统 。 


6.1 概述 


随 着 中 国 经 济 的 不 断 发 展 和 国民 素质 的 提升 ， 居 民 收 入 水 平和 消费 水 乎 提高 ， 预 先 获 得 物质 享 
人 人 人 消费 有 利于 拉动 消费 
需求 ， 民 依 靠 自 身 能 力 和 素质 去 创造 
财富 。 












金 f， 建 立 户 信用 评定 机 制 ， 不 仅 有 利 优质 客户 二 用 服务 ， 并 有 效 防范 
信用 风险 ， 更 有 利于 f 展 新 的 户 服务 品种 ， 开 拓 市 场 ， 提 高 管理 水 平和 竞争 力 。 

言 用 评 受信 者 利用 各 种 评估 方式 ， 对 受信 者 在 信用 关系 中 的 履约 趋势 、 偿 债 能 力 、 信 誉 状 
程度 进行 公正 分 析 、 审 查 和 评估 的 活动 。 信 用 记录 主要 包括 在 公司 中 的 信用 记录 、 银 行 及 
其 它 信用 数据 中 的 记录 、 公 安 等 司法 部 门 的 记录 等 。 















6.2 预测 评价 指标 体系 


要 进行 个 人 信用 评级 ， 首 先 要 考虑 的 问题 是 : 个 人 的 哪些 信息 可 以 作为 个 人 信用 评级 的 指标 ? 
如 何 将 这 些 指标 进行 分 类 及 量化 处 理 ? 

信用 等 级 是 个 人 信用 状况 的 一 种 反映 ， 由 于 评定 机 构 的 目的 不 同 ， 在 评定 的 方法 、 内 容 等 方面 
就 有 所 不 同 ， 但 各 评定 机 构 对 个 人 评级 都 要 通过 一 些 特定 的 指标 来 进行 评价 ， 如 个 人 月 收入 、 供 养 
人 口 、 职 业 、 工 作 单 位 性 质 等 。 

个 人 信用 综合 评估 的 指标 体系 是 对 个 人 信用 进行 综合 评价 的 依据 和 标准 ， 是 综合 反映 个 人 本 身 
和 环境 亡 构 成 的 复杂 系统 的 不 同属 性 的 指标 ， 按 隶属 关系 、 层 次 结构 有 序 组 成 的 集合 。 由 此 ， 可 将 
影响 个 人 信用 等 级 的 因素 加 以 系统 分 析 与 合理 综合 ， 建 立 如 图 6-1 所 示 的 综合 评价 指标 体系 。 

由 图 6-1 可 见 ， 这 里 针对 评估 对 象 将 评估 项 分 成 五 大 类 : 自然 情况 、 职 业 情 况 、 家 庭 情况 、 社 
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会 情况 、 特 别 记 录 情 况 等 。 

自然 情况 指 评估 对 象 的 年 龄 、 婚 姻 状 况 、 文 化 程度 、 供 养 人 口 、 户 籍 以 及 住宅 性 质 等 个 人 基本 
情况 。 
职业 情况 指 评估 对 象 的 职业 及 其 稳定 性 、 在 现 单位 工人 年限、 职务、 职称 和 收入 等 情况 。 
家 庭 情况 指 评估 对 象 的 配偶 、 子 女 、 家 庭 资 产 等 情况 。 
社会 情况 指 评估 对 象 的 社会 参 保 、 个 人 记得 税 费 用 、 通 讯 费 用 等 情况 。 
村 别 记 录 情 况 指 评估 对 象 在 公安 、 检 察 、 法 院 等 司法 机 关 的 司法 记录 。 

















| 自然 情况 
| [上 
人 一 一 职业 情况 
用 家 庭 情况 
等 
上 一 一 社会 情况 
级 

















| 特别 记录 


图 6-1 个 人 信用 评估 指标 体系 


6.3 预测 评估 模型 


个 人 信用 模型 一 般 是 建立 在 数据 〈 信 用 记录 ) 基础 上 的 ， 是 观察 个 人 以 往 信用 状况 的 记录 ， 并 
依据 个 人 经 济 实力 、 品 德 等 能 反映 个 人 信用 的 特征 因素 ， 而 建立 的 数理 统计 模型 。 目 前 ， 针 对 个 人 
信用 ， 各 评定 机 构 常 用 的 方法 是 通过 打分 法 ， 然 后 利用 加 权 平 均 的 方法 得 到 客户 信用 评估 得 分 。 这 
种 线性 加 权 模型 的 个 人 信用 评估 方法 的 优点 是 使 用 简单 ， 但 是 有 很 大 的 局 限 性 。 国 内 外 大 量 的 实证 
结果 表明 ， 个 人 的 实际 信用 评估 的 各 个 因素 之 问 有 些 相互 影响 ， 有 些 相互 独立 ， 呈 现 出 复杂 的 非 线 
性 关系 ， 用 上 述 方法 做 出 的 评估 比较 粗糙 。 

资信 评估 的 准确 性 如 何 ， 关 键 在 于 评估 模型 的 建立 ， 根 据 本 案例 的 实际 情况 ， 我 们 有 针对 性 地 
建立 了 如 图 6-2 所 示 的 评估 模型 : 
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补充 得 到 ) 组 成 。 


户 年 龄 、 年 薪 、1 









ET 


图 6-2 个 人 信用 评估 模型 


由 图 可 知 ， 客 户 总 得 分 由 客观 得 分 〈 神 经 网 络 得 分 和 加 权 平 均 得 分 》 和 主观 得 分 〈 由 信 控 主管 


神经 网 络 得 分 通过 神经 网 络 评估 项 和 神经 网 络 评估 模型 得 出 ， 这 里 的 神经 网 络 评估 项 包括 ; 客 


缴 兑现 率 〈 客 户 透支 后 ， 通 过 催 缴 ， 客 户 如 期 归还 次 数 占 总 透支 次 数 的 百分比 入 


上 黑 名 单 指数 (在 一 定时 期 内 容 户 上 黑 名 单 的 次 数 )、 上 次 评估 得 分 等 构成 ; 加 权 平 均 得 分 通过 加 权 
评估 项 和 加 权 平 均 评估 模型 得 出 ， 这 里 的 加 权 平 均 评估 项 包括 : 户口 类 别 、 婚 姻 状 况 、 配 偶 职 务 、 


配偶 年 收入 、 供 养 人 口 、 住 宅 性 质 、 汽 车 情况 、 单 位 类 型 、 单 位 是 否 参 加 医疗 保险 、 职 位 、 职 称 等 
构成 。 下 面 章节 主要 介绍 神经 网 络 建 模型 。 


说 明 : 除了 上 


- 面 介 绍 的 算法 外 ， 也 可 考虑 其 它 算法 ， 如 多 维 时 间 序 列 方 法 : 信用 评估 机 构 积累 


了 大 量 单 因 变 量 y (客户 信用 评估 分 数 )、 多 自 变量 xi (客户 年 龄 、 年 薪 、 职 务 、 婚 姻 状 况 等 ) 的 多 


维 时间 序 列 数据 ， 


这 些 数据 既 隐 含 大 量 的 动态 特征 ( 需 采 用 时 间 序 列 分 析 ), 又 受 环境 因子 的 影响 ( 需 





采用 回归 分 析 )， 


同时 具有 高 度 的 非 线性 《和 需 采 用 非 线性 分 析 )， 这 就 要 求 建立 一 种 基于 结构 风险 最 


小 、 既 反映 样本 集 动态 特征 又 体现 环境 因子 影响 的 高 精度 非 线性 多 维 时 间 序 列 预测 方法 ， 即 融合 时 


间 序 列 分 析 和 回归 分 析 的 综合 方法 。 如 : 基于 相 空 f 


构 的 数据 挖掘 时 间 序列 ， 基于 SVR 的 多 维 时 








间 序 列 〈SVR-CAR)， 本 章 将 不 对 此 方法 做 深入 讨论 ， 希 望 做 更 深入 了 解 的 读者 可 与 作者 联系 。 
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6.4 有 效 模式 和 样本 集 的 确定 


模式 是 具有 较 强 可 上 


性 和 相似 性 的 样本 的 集合 ， 模 式样 本 数量 满足 建立 一 个 评估 模型 要 求 的 模 


式 称 为 有 效 模式 ， 否 则 称 为 无 效 模式 。 
样本 集 是 按照 一 定 的 规则 划分 的 具有 某 种 相同 属性 的 样本 集合 ， 样 本 集 在 样本 的 某 一 属性 上 具 


有 同一 性 。 在 个 人 信和 用书 


估 中 ， 如 按 地 理 区 域 的 不 同 ， 可 以 划分 出 不 同 的 样本 集 ， 按 行业 的 不 同 也 


可 以 划分 出 不 同 的 样本 集 。 启 以 在 实际 操作 中 ， 有 必要 对 个 人 数据 进行 分 类 ， 筛 选 出 不 同 的 样本 集 。 

因为 样本 跨越 不 同 的 地 理 区 域 、 行 业 ， 每 个 财务 指标 在 数值 上 的 差异 非常 大 ， 如 果 不 剔 除 掉 那 
些 偏离 中 心太 远 的 样本 点 ， 整 个 样本 集 的 数据 势必 会 受到 这 些 奇异 样本 的 影响 ， 使 整个 样本 集 的 信 
息 受 到 弱化 。 启 以 在 选取 样本 时 ， 必 须 考虑 样本 中 奇异 点 的 剔除 。 


在 确定 了 个 人 信用 世 


区 域 的 个 人 数据 ， 并 将 样本 中 的 
奇异 点 剔除 ， 组 成 一 个 符合 有 效 


模式 条 件 的 样本 集 ， 以 上 


续 训练 神 经 网 络 模型 的 专家 样本 模式 内 样本 奇异 点 去 除 
数据 ， 构 建 专家 样本 库 的 具体 操 


作 步 骤 如 图 6-3 所 示 。 


估 指 标 体系 后 ， 我 们 从 资信 评估 公司 的 个 人 信用 信息 系统 中 筛选 出 某 地 理 


尼 标 体系 的 确定 
















总 体 样 本 的 筛选 





模式 的 确定 








上 作为 后 








模式 的 学 习 样本 


图 6-3 构建 专家 样本 库 流程 


6.5 样本 库 的 建立 和 归 一 化 处 理 


样本 库 需 要 事先 建立 


， 每 个 样本 由 输入 向 量 和 输出 向 量 构成 。 输 入 向 量 包 括 客户 年 龄 、 年 薪 、 


众 缴 兑现 率 、 上 黑 名 单 指数 、 上 次 评估 得 分 等 。 输 出 向 量 是 客户 信用 得 分 。 
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6. 5. 1 样本 库 的 建立 


在 实际 应 用 中 ， 往 往 由 于 没有 历史 样本 数据 或 数据 不 足 ， 即 不 具备 建立 有 效 模式 的 条 件 ， 使 得 
神经 网 络 算法 很 难 在 实际 应 用 中 得 以 推广 应 用 。 

如 果 存 在 大 量 的 历史 数据 ， 我 们 必须 对 这 些 数据 进行 筛选 和 过 滤 ， 使 之 符合 建立 一 个 有 效 模式 
的 样本 集合 。 哪 些 数据 应 该 保留 ， 哪 些 数据 应 该 过 滤 ， 说 明 模型 的 输入 与 输出 之 问 本 来 就 存在 某 些 
规则 和 关联 ， 而 这 一 操作 过 程 本 身 就 带 有 主观 性 。 所 以 即使 在 没有 历史 样本 数据 的 情况 下 ， 我 们 也 
可 以 在 模型 的 输入 与 输出 之 间 ， 定 义 某 些 关联 规则 ， 即 通过 主观 产生 建立 一 个 有 效 模式 的 足够 的 样 
本 数据 ， 模 型 一 旦 在 实际 中 得 到 应 用 ， 在 日 后 的 样本 数据 维护 中 ， 随 着 历史 数据 的 增多 ， 可 逐步 对 
专家 样本 数据 进行 补充 和 完善 。 

本 例 中 ， 因 为 历史 样本 数据 缺乏 ， 故 主要 通过 经 验 ， 事 先 自 定义 规则 来 产生 样本 数据 。 











6. 5. 2 归 一 化 处 理 


归 一 化 的 具体 作用 是 归纳 统一 样本 的 统计 分 布 性 。 归 一 化 在 0~1 之 间 是 统计 的 概率 分 布 ， 归 一 
化 在 -1~+1 之 问 是 统计 的 坐标 分 布 。 归 一 化 有 同一 、 统 一 和 合 一 的 意思 。 无 论 是 为 了 建 模 还 是 为 了 
计算 ， 首 先 基本 度量 单位 

由 于 BP 神经 网 络 的 隐 含 层 一 般 采 用 Sigmoid 转换 函数 ， 为 提高 训练 速度 和 灵敏 性 以 及 有 效 避 
开 Sigmoid 函数 的 饱和 区 ， 一 般 要 求 输入 数据 的 值 在 0~1 之 间 。 因 此 ， 要 对 输入 数据 进行 预 处 理 ， 
而 且 对 不 同 变量 要 分 别 进行 预 处 理 。 如 果 输 出 层 节点 也 采用 Sigmoid 转换 函数 ， 输 出 变量 也 必须 作 
相应 的 预 处 理 。 因 此 为 了 取得 最 佳 的 学 习 效果 ， 在 进行 神经 网 络 训练 前 ， 必 须 对 输入 样本 和 输出 样 
本 进行 归 一 化 处 理 。 目 标 : 使 归 一 化 后 的 输入 值 和 输出 值 较 均匀 地 落 在 (0,D) 区 间 内 ， 这 就 要 求 对 于 
特定 的 样本 数据 必须 采用 特定 的 归 一 化 函数 来 处 理 。 比 如 对 于 年 薪 这 一 输入 向 量 ， 如 果 采 用 线性 归 
一 化 处 理 方法 ， 就 很 难 达到 很 好 的 归 一 化 效果 。 因 为 年 薪 的 分 布 范围 ， 绝 大 部 分 分 布 在 1 万 元 至 10 
万 元 区 间 ， 但 也 有 少 于 1 万 元 和 大 于 10 万 元 的 ， 如 2000 元 ，100 万 元 ， 这 些 样本 是 少数 ， 但 在 建 
立 专家 样本 库 时 这 些 样本 不 能 忽略 ， 而 是 都 需要 考虑 进来 ， 因 此 对 于 这 类 输入 变量 就 不 能 简单 采用 
线性 归 一 化 来 处 理 。 表 6.1 是 作者 根据 经 验 总 结 出 来 的 一 些 常用 的 归 一 化 方法 。 

表 6.1 常用 的 归 一 化 方法 












归 一 化 方法 计算 公式 说 明 
线性 函数 归 一 化 y-CcMinValue)(MaxValue-MinValue) x、y 分 别 为 转换 前 、 后 的 值 ，MaxValue、MinValue 分 别 


为 样本 的 最 大 值 和 最 小 值 





对 数 函 数 归 一 化 ylog10() 以 10 为 底 的 对 数 函 数 转换 
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反 余 切 函数 归 一 化 关 atan(x)*2/PI 反 余 切 函数 转换 


说 明 : 训练 时 ， 需 要 对 样本 进行 归 一 化 ， 但 如 果 是 仿真 ， 则 需要 对 仿真 的 结果 进行 反 归 一 化 处 
理 。 


6.6 系统 实现 


个 人 资信 评估 系统 在 结构 功能 上 分 为 两 个 部 分 : 预测 分 析 管 理子 系统 ， 预 测 模型 建 模仿 真子 系 
统 ， 如 图 6-4 所 示 。 











图 6-4 个 人 资信 评估 系统 结构 

预测 评估 管理 子 系统 是 个 人 资信 评估 系统 的 管理 部 分 ， 负 责 维护 预测 分 析 的 基础 数据 ， 如 预测 
评价 指标 ， 专 家 样本 数据 等 ， 并 将 专家 数据 传递 给 预测 仿真 子 系统 ， 同 时 调用 来 自 预 测 仿真 子 系统 
已 经 建 好 的 预测 模型 ， 并 进行 智能 预测 和 分 析 。 

预测 模型 建 模仿 真子 系统 是 一 个 可 视 化 的 神经 网 络 建 模仿 真 工具 ， 它 基于 nnToolKit 神经 网 络 
工具 包 开 发 而 成 。 主 要 负责 神经 网 络 模型 的 创建 、 训 练 及 仿真 测试 ， 对 于 经 过 训练 并 经 测试 符合 要 
求 的 预测 模型 可 以 导出 ， 供 外 部 应 用 程序 调用 。 为 方便 读者 学 习 和 理解 ， 前 一 章 分 别 以 VC、VB、 
CB 等 开发 语言 为 例 ， 详 细 介绍 如 何 利用 nnToolKit 神经 网 络 工具 包 经 MATLAB COM Builder 打包 
后 生成 的 COM 组 件 ， 来 实现 神经 网 络 建 模仿 真 系统 。 
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练习 题 


1、 常 用 的 归 一 化 方法 有 哪些 ? 各 适用 什么 场合 ， 请 举例 说 明 。 
2、 在 实际 应 用 中 ， 你 将 如 何 获取 或 组 织 专家 样本 数据 ? 
3、 什 么 是 有 效 模式 ? 什么 是 样本 集 ? 样本 集 如 何 确定 ? 
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附录 2NDN 神经 网 络 建 模仿 真 工具 


经 网 络 的 编程 是 不 是 只 能 基于 matlab 来 进行 ? 答 
2NDN。 


前 几 章 介绍 了 神经 网 络 技术 及 其 编程 方法 ， 
案 当 然 是 否定 的 。 下 面 介绍 一 款 当前 比较 流行 的 神经 网 络 建 模 软件 











1 2NDN 神经 网 络 建 模型 仿真 工具 简介 


2NDN 神经 网 络 建 模仿 真 工具 是 一 款 可 视 化 的 神经 网 络 建 模 应 用 开发 平台 ， 它 基于 行业 标准 设 
计 和 可 连接 组 件 的 模块 化 结构 实现 ， 可 扩展 性 强 ， 可 用 于 各 种 行业 的 运营 管理 和 系统 分 析 ， 是 生产 
效率 改善 的 有 效 工 具 ， 尤 其 适合 高 校 建 : 仿真 实验 室 
2NDN 提供 了 40 种 以 上 的 视觉 化 类 神经 组 件 , 是 一 种 可 让 使 用 者 任意 连接 及 合成 不 同 的 网 络 架 
构 以 实现 类 神经 网 络 仿真 及 专业 化 应 用 ， 兼 具 视觉 化 美感 的 操作 界面 及 强大 功能 的 专业 化 软件 。 
它 可 以 协助 用 户 快速 建构 出 所 需 的 神经 网 络 ， 并 方便 训练 和 测试 所 生成 的 网 络 模型 。 









1.1 2NDN 主要 特点 


@ 操作 方便 、 易 用 可 视 化 的 人 机 交互 界面 ， 通 过 拖拉 方式 快速 构建 出 任意 复杂 的 神经 网 络 
模型 ， 提 供 “ 克 隆 ” 技 术 ， 可 有 效 地 提高 建 模 效率 。 

@ 无 颖 集合 和 结果 共享 由 于 2NDN 的 数据 来 源 和 结果 输出 可 以 是 文本 文件 、EXCEL 电子 
表格 、URL 和 JDBC 数据 源 ， 所 以 它 能 与 企业 应 用 程序 和 其 他 统计 工具 无 颖 结合 。 快 速 
读 取 源 自 第 三 方 应 用 程序 的 数据 。 例 如 ， 批 量 评 分 ， 通 过 数据 挖 气 算 法 得 出 移动 用 户 流 
失 的 数学 模型 ， 对 每 一 用 户 进行 流失 可 能 性 评分 ， 系 统 把 评分 规则 自动 编码 生成 程序 
(SQL，XML 等 )， 通 过 行业 标准 应 用 程序 接口 把 模型 移植 到 操作 系统 或 者 把 评分 回 写 
到 数据 库 ， 因 而 整个 组 织 可 以 从 数据 挖 据 过 程 的 结果 中 受益 。 使 用 任意 开发 环境 ， 数 据 
挖 据 可 媒 入 到 内 部 和 垂直 的 市 场 应 用 程序 。 

e@ 编程 接口 2NDN 提供 一 套 基 于 J2EE 行业 标准 的 编程 接口 。 它 可 用 于 开发 各 类 数据 挖 握 
应 用 程序 ， 从 简单 的 脚本 到 庞大 的 集成 系统 。 数据 挖掘 引 擎 可 由 JDBC 和 XML 访问 分 析 
行业 标准 数据 挖 据 API。 由 2NDN 建 模 工具 创建 的 网 络 模型 可 保存 为 SNET, 被 各 种 企业 
应 用 程序 廊 使 用 。 
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@” 基 于 插件 的 可 扩展 机 制 系统 由 组 件 构成 ， 组 件 可 组 装 , 瑟 
性 ， 其 内 核 引擎 可 被 用 户 创建 的 自 定义 类 所 扩展 和 控制 。 
能 绑 定 的 神经 网 络 中 一 些 组 件 上 的 插件 来 实现 的 。2NDN 
件 ; 输出 插件 ;监控 插件 。 


重用 ， 具 有 可 伸缩 性 、 可 测量 
这 种 可 扩展 性 是 通过 使 用 一 种 
提供 三 种 主要 的 插件 : 输入 插 





@ 。 跨 平 台 的 运行 能 力 系统 的 运行 平台 包括 Windows、Unix 和 Mac 操作 系统 。 


1.2 2NDN 功能 简介 


读者 可 以 到 www.2nsoftcn/2ndn 上 下 载 最 新 版 本 的 2NDN, 安装 完毕 后 , 运行 时 主 界面 如 附 图 1 


启示 。 
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8DK 神经 网 络 建 模仿 真 千 台 吕 ] 
文件 编辑 对齐， 属性 工具 帮助 
NA IDIGICIAICIaILlel 
熙 | 外 | 芝 | 人 | 吾 本 | 全 | 过 | 司 | 棺 | [全 到 , 
加 要 过 | 汉 区 三 | 屯 芝 | 到 | 人 于 本寺 到 | 后 | 怨 1 | 

TUESWic 全 Input FE 一 >hidden -一 > output 全 训 GT 
于 8 1 | 

InputTrainConnector InputTestConnector Eeeeeutts| OutputT， 一 

BE 二 
4 生 本 和 
选取 

附 图 1 2NDN 运行 时 主 界面 
界 利 菜单 项 项 将 展开 ， 用 户 可 以 













工具 按钮 由 三 组 构成 。 第 一 组 包含 所 有 前 
1 件 连接 到 一 起 ， 可 以 建立 任意 复元 
输出 层 镭 


进行 相应 操作 。 
另外 两 组 包含 押 有 组 

络 模型 。 组 件 分 为 七 类 : 换 层 、 神 经 网 络 层 、 输 出 转换 层 、 
层 、 图 表层 与 插件 。 
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每 个 组 件 按钮 的 具体 功能 可 以 参考 系统 中 的 帮助 选项 ， 这 里 不 做 详细 介绍 。 
工具 条 下 面 的 灰色 区 域 就 是 神经 网 络 的 建 模 区域 ， 处 理 单元 能 够 从 工具 条 中 拖 到 建 模 区 并 进行 
操作 。 下 面 通过 一 个 案例 介绍 2NDN 软件 的 使 用 。 


2 基于 时 间 序 列 的 股票 趋势 预测 模型 


股票 趋势 预测 代表 经 济 预测 中 的 一 种 特定 类 型 ， 它 具有 其 独 有 的 特点 。 因 为 实际 操作 中 不 需要 
准确 地 知道 下 一 天 的 收 玲 价 ， 只 需 知道 被 观测 市 场 的 走向 〈 升 或 降 )， 从 而 次 定 交 易 操作 〈 长 期 / 短 
期 一 买 入 / 卖 出 )。 我 们 所 希望 的 是 利用 历史 价格 数据 预测 将 来 中 短期 (从 2 到 10 或 15 天 ) 内 的 价 
格 走势 。 因 而 我 们 的 神经 网 络 也 不 需要 预测 下 一 个 交易 日 的 准确 收 答 价 ， 从 预测 的 趋势 上 去 发 现 我 
们 的 交易 策略 。 

换 句 话说 ， 需 要 预测 的 是 市 场 的 拐点 。 附 图 2 是 一 只 股票 的 日 K 曲线 ， 要 成 功 进行 股市 操作 就 
要 根据 红色 箭头 来 交易 ， 在 最 低 点 买 进 ， 在 最 高 点 卖 出 。 一 个 好 的 交易 系统 应 当 只 是 真正 的 拐点 出 
现时 给 出 提示 ， 吉 免 生成 虚假 信号 ， 例 如 ， 象 蓝 色 箭头 所 指 部 分 ， 市 场 只 下 降 了 几 个 百分点 就 马上 
又 继续 上 升 。 





附 图 2 某 股票 的 日 K 曲线 


可 见 ， 记 要 设计 的 神经 网 络 不 需要 预测 市 场 的 日 准确 收盘 价 ， 我 们 只 对 正确 预测 拐点 感 兴趣 。 
下 面 就 利用 2NDN 软件 来 实现 基于 时 间 序 列 的 股票 趋势 预测 建 模 。 

打开 2NDN 神经 网 络 设计 工具 ， 在 主 界面 中 通过 拖拉 方式 添加 下 图 议 示 的 图 元 ， 这 样 神经 网 络 
模型 就 建 好 了 ， 如 附 图 3 所 示 〈 为 了 便于 学 习 ， 在 各 图 元 旁 加 了 编号 )， 同 时 2NDN 会 自动 地 随机 
设置 连接 的 权 系数 。 
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附 图 3 基于 时 间 序 列 的 股票 趋势 预测 建 模 


下 面 对 设 计 器 中 的 各 图 元 说 明 如 下 : 

(1) Yahoo 输入 (Input Data) 

用 于 神经 网 络 从 yahoo 接收 金融 市 场 得 来 的 金融 数据 ， 设 置 方法 ， 鼠标 选中 该 图 元 ， 右 键 弹出 
快捷 菜单 ， 点 击 < 属 性 >， 弹 出 如 附 图 4 所 示 的 对 话 框 。 
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其 寺 


二 怕 | 园 
控件 名 称 Input Data 


股票 代码 600728. SS 


时 期 Daily 
选择 列 4 
开始 日 期 2007-6-1 
结束 日 期 2007-8-!1 
首 行 1 


末 行 0 


aarE 辣 





附 图 4 模型 输入 设置 
“符号 ”是 指 特定 股票 的 代号 。 如 600728.SS 是 指 新 太 科技 600728 的 股票 。 这 个 代号 必须 


是 由 Yahoo 定义 的 代号 “时 期 ” 指 从 Yahoo 获取 股票 市 值 的 周期 ,“Daily” 获 取 每 天 收市 记录 的 股 


票 市 值 ， 


“Monthly” 获 取 每 月 月 初 记录 的 股票 市 值 ,“Yearly” 获 取 每 年 年 初 记录 的 股票 市 值 。“ 选 


择 列 ”有 六 种 可 选项 ， 分 别 表 示 Open、High、Low、Close、Volume、Adjusted close。 


对 了 


特定 的 股票 代码 ,用 户 必 须根 据 亡 需 的 列 来 设置 “选择 列 ". 如 果 希 望 将 opcn,high 及 volume 


列 作为 输入 ， 则 需 将 “1-2.5” 写 到 “选择 列 ”。 
其 它 设置 参考 2NDN 帮助 文档 说 明 。 


(2 


) ”规范 化 (DeltaNorml) 





由 了 
化 处 理 ， 


于 从 Yahoo 接受 的 数据 不 在 神经 网 络 能 处 理 的 范围 内 ， 因 此 必须 先 对 输入 样本 数据 进行 归 一 
设置 方法 : 鼠标 选中 该 图 元 ， 右 键 弹 出 快捷 菜单 ， 点 击 < 属性 >， 弹 出 如 附 图 5 所 示 的 对 话 
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尾 性 - Deltaoral 必 ] 哲 | 区 
控件 名 称 Deltaornl| 


选择 列 1 


输入 最 小 值 0.0 





输入 最 大 值 0.0 
输出 最 小 值 0.0 
输出 最 大 值 1.0 


附 图 5 输入 规范 化 设置 
说 明 ; 若 输入 最 大 /最 小 值 设置 为 0， 表 示 自 动 取 相应 节点 的 最 大 /最 小 值 。 
附 图 6 为 经 规范 化 处 理 后 进行 查验 的 结果 。 


可 验 - Input Data 局 | 由 | 恬 














附 图 6 规范 化 后 结果 查验 


(3) Delay (Delay Input Layer) 
这 里 , 使 用 YahooFinance 输入 组 件 从 Yahoo 获取 股票 价格 的 时 间 序列 , 将 其 与 一 个 延 时 层 相连 。 
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设置 方法 : 鼠标 选中 该 图 元 ， 右 键 弹出 快捷 菜单 ， 点 击 < 属 性 >， 弹 出 附 图 7 所 示 的 对 话 框 。 
人 辣 | 加 | 轩 


ts 四 


层 名 Delay Input Layer | 


神经 元 数 1 





附 图 7 延 时 层 设置 

在 这 个 组 件 的 属性 面板 中 ， 除 “神经 元 数 ” 之 外 ， 还 可 以 设置 “taps” 参 数 ， 它 是 指 我 们 用 来 
提供 给 神经 网 络 的 时 间 窗 口 的 大 小 。 

如 果 设 置 taps 为 5S， 就 得 到 一 个 尺寸 为 6 的 时 间 窗 口 ， 它 由 下 面 的 值 组 成 : 

[x(b, x(t-1), x(t-2), x(t-3), x(t-4), x(t5)] 

注意 时 间 窗 口 的 尺寸 等 于 taps+1， 因 为 延 时 层 还 同时 输出 时 间 序 列 的 当前 值 x(D。 

(4) Sigmoid (Hidden Layen) 

网 络 隐 含 层 ， 设 置 方法 : 鼠标 选中 该 图 元 ， 右 键 弹出 快捷 菜单 ， 点 击 < 属 性 >， 弹 出 附 图 8 所 示 
的 对 话 框 ， 设 置 其 节点 数 为 8。 


司马 | 
层 名 iaaen Layez| | 


神经 元 数 8 





附 图 8 隐 含 层 设置 
(5) Sigmoid (Output Layer) 
网 络 输出 层 ， 设 置 方法 参见 (4)。 
(6) 图 表 (NetOutput) 
这 个 组 件 用 来 在 测试 阶段 显示 出 网 络 的 预测 结果 曲线 。 设 置 方法 :鼠标 选中 该 图 元 ， 右 键 弹出 
快捷 菜单 ， 点 击 < 属 性 >， 弹 出 附 图 9 所 示 的 对 话 框 。 
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展 性 - WetOutpnt 梧 回国 


控件 名 称 NetDutput 

图 表 标题 股票 损 点 输出 曲线 
序列 号 1 

X 台 最 大 值 41 

Y 轴 最 大 值 1.0 


是 否 激活 True 


附 图 9 预测 结果 曲线 设置 
说 明 : X 轴 最 大 值 要 大 于 网 络 所 使 用 的 金融 数据 的 天 数 。 
《7 训练 (Teacher) 
神经 网 络 训练 屋 ， 属 性 设置 如 附 图 10。 


属性 - ITeacher 回 js 


层 名 Teacher 
激活 |Tru 


附 图 10 网 络 训练 层 设置 
(8) 。 Yahoo 输入 (Desired Data) 
用 于 神经 网 络 从 yahoo 接收 金融 市 场 得 来 的 金融 数据 ， 用 于 生成 训练 网 络 的 拐点 信息 。 设 置 方 
法 同 〈1) 
(9) ”规范 化 (DeltaNorm2) 
在 此 对 训练 目标 样本 数据 进行 归 一 化 处 理 ， 设 置 方法 同 2)。 


(10) ”拐点 抽取 (TumingPnts) 
生成 用 来 训练 网 络 的 拐点 信息 ， 属 性 设置 如 附 图 11。 
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属性 - TurningPnts 加 回国 
名 称 Turningpnts 


最 小 变化 率 0.5 
选择 列 1 





附 图 11 拐点 抽取 设置 
“最 小 变化 率 ”表示 两 拐点 之 问 的 最 小 变化 率 ， 用 来 生成 相应 的 信号 。 它 不 能 设置 太 小 值 ， 否 
则 会 生成 太 多 的 信号 〈 其 中 很 多 都 是 错误 信号 )。 
算法 如 下 : 





。 当 市 场 价格 上 升 超过 期 望 的 变化 率 时 ， 前 面 一 个 低 点 就 被 标注 为 “ 买 ” 信 号 ， 相 应 的 输出 值 


设 为 0。 


。 当 市 场 价格 下 降 超 过 期 望 的 变化 率 时， 前 面 一 个 高 点 就 被 标注 为 “ 卖 ” 信 和 号， 相应 的 输出 值 
设 为 十 1。 


。 上 述 两 点 之 问 的 日 期 对 应 的 期 望 值 以 插值 到 0 与 十 1 的 方式 进行 规范 化 。 


(11) 图表 (RMSE Erron 
均 方 误差 曲线 ， 用 来 显示 训练 过 程 中 的 误差 变化 情况 。 设 置 方法 ;鼠标 选中 该 图 元 ， 右 键 弹出 
快捷 菜单 ， 点 击 < 届 性 >， 弹 出 附 图 12 所 示 的 对 话 框 。 
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展 性 - RESE Error 
控件 名 称 MISE Prror 





附 图 12 误差 曲线 设置 

说 明 : X 轴 最 大 值 要 大 于 网 络 所 使 用 的 金融 数据 有 天 数 。 将 “是 否 显示 ”设置 为 “True” 时 ， 
将 打开 图 表 显 示 。 

这 里 使 用 2007-6-1 到 2007-8-1 的 数据 训练 网 络 :将 两 个 yahoo 输 入 插件 的 时 间 段 都 设 为 2007-6-1 
圣 2007-8-1。 打 开 控制 面板 ， 设 置 学 习 率 为 03， 动 量 常数 为 03， 训 练 样 本 数 为 41 (该 值 可 通过 查 
验 样本 得 到 )， 训练 步 数 为 1000 次 , 均 方 误 差 为 0.001, 是 否 训 练 设置 为 True, 是 否 验 证 设置 为 False， 
是 否 指 导 设置 为 True， 预 测 学 习 数 设置 为 6 (该 值 为 aps+1)， 是 否 均 方 误差 设置 为 True。 点 击 【 运 
行 】 开 始 训练 。 控 制 面板 上 会 显示 训练 的 进度 和 收敛 情况 ， 见 附 图 13。 如 果 权 值 参数 选择 不 合理 的 
话 有 可 能 造成 网 络 不 能 收敛。 这 时 可 以 选择 【工具 】 一 >【 初 始 化 〗 重新 随机 生成 初始 的 权 系数 。 

说 明 : 学 习 率 是 对 神经 网 络 训练 至 关 重 要 的 参数 ， 太 低 会 导致 训练 时 间 过 长 ， 太 高 可 能 会 引起 
训练 误差 摆动 ， 难 以 到 达 最 优 ， 选 择 正确 的 学 习 率 意味 着 能 得 到 好 的 训练 结果 ， 特 别 是 对 于 时 序 预 
测 模型 。 实 际 应 用 中 可 以 利用 动态 退火 插件 来 解决 这 一 问题 ， 在 此 不 再 介绍 ， 读 者 可 参考 帮助 文档 
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循环 次 数 : 10000 
均 方 误 短 : 0.02704461821. 
设 定 误 竹 : |0001| 
预 学 习 数 5 
站 
训 绑 步 数 10000 
训 绑 样本 数 57 


效 验 样本 数 |22 


动量 常数 0.3 

学 习 模 式 0 
学 习 率 |0.3 

批 处 理 数 0 





附 图 13 控制 面板 
网 络 训练 完成 后 ， 就 可 以 对 生成 的 网 络 模型 进行 测试 了 , 我 们 使 用 2007-7-1 到 2007-9-1 的 数据 
作为 测试 数据 ， 对 该 时 间 段 内 的 股票 价格 拐点 进行 预测 ， 测 试 时 ， 将 两 个 yahoo 输入 插件 的 时 间 段 
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炙 





室 制 面板 ， 设 置 测 试 样本 数 〈 这 里 为 41)， 训 
为 True。 点 击 【 运 行 】 开 始 测试 ， 预 测 结 


步 数 为 1 次 ， 是 
自动 在 图 表 插 件 中 





得 训 
显示 出 来 。 

附 图 14 和 附 图 15 分 是 2007-7-1 到 2007-9-1 的 股票 
测 曲 线 。 








际 价 格 走势 和 基于 时 间 序 列 的 股票 拐点 预 











附 图 14 股票 











附 图 15 基于 时 间 序 列 的 股票 拐点 
可 以 看 出 ， 该 网 络 模型 能 够 将 绝 大 部 分 的 股票 走势 的 拐点 
箭头 所 标 出 的 部 分 ， 预 测 转折 指标 量 大 于 0.8 或 小 于 0.2 的 吕 


测 曲 线 
预测 出 来 ， 效 果 非 常理 想 。 图 中 
际 价格 走势 验证 均 为 有 效 拐点 。 






3 用 2NDN 神经 网 络 建 模型 仿真 工具 实现 混合 编程 


前 面 两 节 分 别 介绍 了 2NDN 的 功能 及 案例 , 下 面 将 介绍 如 何在 程序 中 嵌入 建 好 的 神经 网 络 模型 。 
本 节 中 ， 使 用 Borland 的 java 开发 工具 JBuilder2006 来 开发 一 个 小 的 桌面 程序 ， 通 过 嵌入 2NDN 建 
好 的 XOR 神经 网 络 模型 ， 来 实现 异 或 运算 的 功能 。 关于 JBuilder2006 的 操作 ， 这 里 不 做 介绍 ， 有 兴 
趣 的 读者 可 以 阅读 相关 方面 的 书籍 。 

1、 建 立 神经 网 络 模型 利用 2NDN 建立 XOR 神经 网 络 模型 并 训练 至 较 小 的 均 方 误差 ， 导 出 为 
xorsnet 文件 。 

2、 开 发 用 户 界面 打开 JBuilder2006,， 新 建 工 程 xorjb2006, 在 工程 中 新 建 应 用 程序 xorappjava， 
设置 class 属性 为 “Frame1”。 如 附 图 16 启示 。 
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附 图 16 创建 工程 应 用 
在 工程 xorjb2006 中 打开 Frameljava 文件 ， 单 击 界 面 下 方 的 “Design” 按 钮 ， 通 过 拖拉 方式 设 
计 界 面 ， 其 中 包括 两 个 JTextfield 组 件 ， 两 个 JLable 组 件 和 一 个 JButton 组 件 。 按 附 图 17 启示 调整 
组 件 位 置 、 设 置 组 件 属性 。 





附 图 17 窗 体 设计 
设计 好 整个 界面 的 布局 ， 单 击 “提交 ”按钮 ， 设 置 鼠 标 单 击 的 属性 ， 具 体 代 码 如 下 。 
public void jButtonl_ mouseClicked(MouseEvente) ff 
ty{ 
/filename 表示 模型 xorsnet 的 存放 路 径 ， 读 者 需要 设置 为 本 地 的 路 径 。 
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String filename = "F:/developer/xorsnet"; 
/从 两 个 文本 框 中 读 取 数据 ， 并 转换 为 double 型 变量 。 
Stringx=jTextField1.getTextO; 
Stringy=jTextField2.getTextO; 
double doubl = Double.valueOflx).doubleValue0); 
double doub2 = Double.valueOfy).doubleValue0; 
/设置 数组 inputArray， 用 来 保存 从 文本 框 中 读 取 的 数据 。 
inputArray = new double[]D { 
{ doubl, doub2} 
} 
/eXOR 为 类 EmbeddedXOR 的 一 个 实例 。 
eXOR.Golfilename); 
/设置 提示 框 的 属性 ， 用 以 显示 模型 的 运算 结果 。 
经 网 络 模型 运算 结果 : " + eXOR.array[0]); 





JOptionPane.showMessageDialog(this, "xor 社 
} catch (Exception ex) { 
JOptionPane.showMessageDialog(this, "请 输入 数字 1 或 07); 


媒 入 XOR 模型 并 编写 功能 代码 在 工程 xorjb2006 中 新 建 类 EmbeddedXOR.java， 用 来 实现 
导入 神经 网 络 模型 xorsnet 并 运算 的 功能 ， 下 面 是 这 一 部 分 的 代码 。 
public class EmbeddedXOR { 
Framel frl = null; 
public double[] array = null; 
/创建 EmbeddedXOR 的 构造 函数 。 
public EmbeddedXORO { 
} 
/restoreNeuralNet() 方 法 用 来 读 取 建 好 的 神经 网 络 模型 。 


private NeuralNet restoreNeuralNet(String fileName) { 
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NeuralNet nnet = null; 

ty 
FileInputStream stream = new FileInputStream(fileName); 
ObjectInputStream inp = new ObjectInputStrecam(strecam); 
nnet= (NeuralNebinp.readObject(O); 

} 

catch (Exception excp) { 
excp.printStackTrace(O); 

} 


Teturn nnet; 


刀 Go() 方 法 利用 导入 的 神经 网 络 模型 进行 运算 。 
public void Go(String fileName) { 
/导入 模型 ， 并 设置 为 NeuralNet 型 变量 。 
NeuralNet xor = restoreNeuralNet(fileName); 
if(xor!= nulD) ff 
/使 用 getinputLayer() 方 法 得 到 模型 的 输入 层 input。 
Layer input = xorgetInputLayer(O; 
/去 除 连接 在 input 层 上 的 输入 层 ， 例 如 文件 输入 层 等 。 
input.removeAllInputs(O); 
/memInp 用 来 为 输入 层 input 提供 数据 。 
MemoryInputSynapse memInp = new MemoryInputSynapse(); 
/ 读 取 数组 的 的 第 一 行 数据 。 
memInp.setFirstRow(1); 
// 读 取 数 组 的 1，2 列 数据 。 
memInp.setAdvancedColumnSelector("1.2”); 
/在 输入 层 input 上 连接 数据 输入 层 memInp-。 








input.addInputSynapse(memInp); 
/设置 数据 源 为 Framel 中 的 数组 inputArray。 
memInp.setmnputArray(frl.inputArray); 
/使 用 getOutputLayer() 方 法 得 到 模型 的 输入 层 output。 
Layer output = xorgetOutputLayer(); 
/去 除 连 接 在 output 层 上 的 输入 层 ， 例 如 文件 输出 层 等 。 
outputremoveAllOutputs(); 
/memInp 用 来 从 输出 层 output 获取 运算 结果 。 
MemoryOutputSynapse memOut = new MemoryOutputSynapse(); 
/在 输出 层 output 上 连接 数据 输入 层 memOnut。 
outputaddOutputSynapse(memOut); 
/设置 模型 的 运算 次 数 ， 本 例 中 设 为 1。 
xor.getMonitor(.setTotCicles(1); 
/设置 导入 模型 的 运算 样本 ， 本 例 中 设 为 1。 
XorgetMonitor().setTrainingPatterns(1); 
/将 模型 学 习 的 参数 设 为 false， 本 例 中 模型 已 经 经 过 训练 ， 不 需要 进行 学 习 。 
xor.getMonitor().setLearning(false); 
/开始 运算 。 
Xorstart(); 
xorgetMonitor(0).Go0); 
/将 运算 结果 传递 到 array 数组 。 
double[] pattern = memOutgetNextPattern(); 
array= pattern; 
】} 
/停止 运算 


Xorstop(); 
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4、 程 序 的 测试 : 经 过 上 面 的 几 个 步骤 ， 这 个 桌面 程序 已 经 完成 。 下 面 测试 一 下 它 的 功能 。 运 
行程 序 ， 在 文本 框 中 输入 1，0 两 个 数据 ， 如 附 图 18 所 示 。 








附 图 18 程序 测试 
单 击 提交 按钮 ， 弹 出 对 话 框 ， 运 算 结果 为 0.99294065， 如 附 图 19 所 示 。 





避 xor 神 经 网 络 模型 远 筑 早 果 ; 0.9929408532028519 


附 图 19 程序 运行 结果 
有 兴趣 的 读者 可 以 利用 这 里 讲述 的 方法 ， 通 过 2NDN 与 其 它 javaIDE 工具 的 混合 编程 ， 结 合 本 
附录 第 二 节 讲 述 案例 中 的 神经 网 络 模型 ， 开 发 基于 具体 应 用 的 神经 网 络 应 用 软件 


练习 题 
1、 用 2NDN 实现 4.5. 1 节 启示 的 房地产 开发 风险 预测 。 
2、 用 时 间 序 列 算 法 实现 4. 5. 2 节 记 示 的 地 基 沉 降 量 预 测 。 
3、 用 2NDN 实现 XOR (eXclusive-OR) 问题 。 
说 明 : XOR 问题 实质 是 : 如 果 两 个 输入 项 中 的 一 个 为 tue， 其 输出 为 rue， 但 如 果 两 个 输入 项 
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均 为 false 或 tue， 则 输出 为 false。 


其 关系 如 图 : 
Input 1 Input 2 0utput 
false false false 
false true true 
true false true 
true true false 
参考 文献 
1 李 弦 强 , 芝 天 强 , 彭 波 等 编著 智能 图 像 处 理 技术 北京 :电子 工业 出 版 社 .2004 





2 飞 思 科技 产品 研发 中 心 编著 MATLAB 6.5 辅助 图 像 处 理 北京 :电子 工业 出 版 社 .2003 

3 施 阳 , 李 俊 , 王 惠 刚 , 严 卫生 编著 MATLAB 语言 工具 箱 --TOOLBOX 实用 指南 .1998 

4 张 兆 礼 , 赵 春晖 , 梅 晓 丹 编 著 现代 图 像 处 理 技术 及 Matlab 实现 北京 :人 民 邮 电 出 版 社 .2001 
5 闻 新 , 周 露 , 李 翔 , 张 宝 伟 编著 MATLAB 神经 网 络 仿真 与 应 用 北京 :科学 出 版 社 .2003 

6 罗 四 维 编著 , 人 工 神经 网 络 建造 北京 :中 国 铁道 出 版 社 .1998 

7 韩 力 群 编著 人 工 神经 网 络 理论 设计 与 应 用 北京 :化 学 工业 出 版 社 .2002 

8 杨 铭 震 王 燕 霞 编著 人 工 神经 网 络 及 其 在 石油 勘探 中 的 应 用 北京 :兵器 工业 出 版 社 .1993 

9 飞 思科 技 产 品 研发 中 心 编 著 神经 网 络 理论 与 MATLAB7 实现 北京 : 电子 工业 出 版 社 . 2005 








